腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
大数据进阶
专栏成员
举报
95
文章
144469
阅读量
19
订阅数
订阅专栏
申请加入专栏
全部文章(95)
大数据(27)
java(15)
编程算法(12)
flink(10)
node.js(9)
kafka(9)
sql(7)
数据库(6)
容器镜像服务(6)
http(6)
容器(6)
linux(5)
unix(5)
文件存储(5)
dubbo(5)
https(5)
ide(4)
yarn(4)
网络安全(4)
hadoop(4)
zookeeper(4)
javascript(3)
scala(3)
xml(3)
jar(3)
apache(3)
网站(3)
spark(3)
hive(3)
uml(3)
windows(3)
数据结构(3)
php(2)
go(2)
json(2)
git(2)
github(2)
spring(2)
企业(2)
存储(2)
开源(2)
缓存(2)
jdk(2)
jvm(2)
tcp/ip(2)
接口(2)
系统(2)
费用中心(1)
ios(1)
mac os(1)
iphone(1)
python(1)
ruby(1)
servlet(1)
html(1)
ecmascript(1)
android(1)
云数据库 SQL Server(1)
mapreduce(1)
日志服务(1)
TDSQL MySQL 版(1)
消息队列 CMQ 版(1)
SSL 证书(1)
腾讯云测试服务(1)
kubernetes(1)
分布式(1)
运维(1)
压力测试(1)
shell(1)
正则表达式(1)
面向对象编程(1)
jenkins(1)
socket编程(1)
安全(1)
hbase(1)
es(1)
Elasticsearch Service(1)
数据湖(1)
argv(1)
cas(1)
config(1)
data(1)
function(1)
identity(1)
lambda(1)
lock(1)
map(1)
median(1)
ps(1)
setter(1)
storm(1)
stream(1)
supervisor(1)
synchronized(1)
sys(1)
ui(1)
volatile(1)
编译器(1)
测试(1)
基础(1)
命令行(1)
排序(1)
数据(1)
算法(1)
搜索文章
搜索
搜索
关闭
flink rocketmq消费和写入数据
容器镜像服务
flink
容器
大数据
apache
通过yaml文件可知总共有三个组件:分别为nameserver, broker, web console
yiduwangkai
2021-11-24
4.9K
0
flinkx数据同步
flink
大数据
hadoop
javascript
json
git clone https://github.com/DTStack/flinkx.git
yiduwangkai
2021-11-22
2K
0
hudi同步hive出现错误java.lang.NoSuchMethodError
hive
flink
大数据
flink写入hudi,开启自动同步 hudi表结构如下: CREATE TABLE myhive.test.hudi_users2_m_has_s ( id BIGINT PRIMARY KEY NOT ENFORCED, name STRING, birthday TIMESTAMP(3), ts TIMESTAMP(3) ) WITH ( 'connector' = 'hudi', 'table.type' = 'MERG
yiduwangkai
2021-10-22
1.9K
0
使用Prometheus+Grafana监控Flink on YARN作业
yarn
node.js
flink
大数据
网站
实时作业要保证7 x 24运行,除了要在业务逻辑和编码上下功夫之外,好的监控系统也是必不可少的。Flink支持多种汇报监控指标(metrics)的reporter,如JMX、SLF4J、InfluxDB、Prometheus等。
yiduwangkai
2021-09-10
2.1K
0
flink etl
缓存
flink
大数据
编程算法
数据库
这种 join 方式需要去保留两个流的状态,持续性地保留并且不会去做清除。两边的数据对于对方的流都是所有可见的,所以数据就需要持续性的存在state里面,那么 state 又不能存的过大,因此这个场景的只适合有界数据流或者结合ttl state配合使用。它的语法可以看一下,比较像离线批处理的 SQL
yiduwangkai
2021-07-14
1.1K
0
搭建高可用的flink JobManager HA
yarn
flink
node.js
大数据
JobManager协调每个flink应用的部署,它负责执行定时任务和资源管理。每一个Flink集群都有一个jobManager, 如果jobManager出现问题之后,将不能提交新的任务和运行新任务失败,这样会造成单点失败,所以需要构建高可用的JobMangager。
yiduwangkai
2021-06-29
1.4K
0
flink的类加载机制
flink
java
大数据
jar
日志服务
我们知道,在 JVM 中,一个类加载的过程大致分为加载、链接(验证、准备、解析)、初始化5个阶段。而我们通常提到类的加载,
yiduwangkai
2021-05-27
2.2K
0
flink mysql数据接入
flink
ide
大数据
sql
数据库
[ERROR] Could not execute SQL statement. Reason: org.apache.kafka.connect.errors.DataException: name is not a valid field name
yiduwangkai
2021-05-18
966
0
flink(13)-flink on yarn源代码分析
flink
大数据
数据结构
linux
yarn
session cluster和per job 因为是源码分析,所以会分为服务端和客户端两个部分的代码分析,下面我先看服务端<br/>
yiduwangkai
2020-04-24
1.4K
0
flink(12)-flink on yarn
flink
大数据
yarn
node.js
flink yarn flink on yarn有两种模式,分别是session cluster和per job
yiduwangkai
2020-04-24
815
0
【译】如何调整ApacheFlink®集群的大小How To Size Your Apache Flink® Cluster: A Back-of-the-Envelope Calculation
kafka
大数据
来自Flink Forward Berlin 2017的最受欢迎的会议是Robert Metzger的“坚持下去:如何可靠,高效地操作Apache Flink”。 Robert所涉及的主题之一是如何粗略地确定Apache Flink集群的大小。 Flink Forward的与会者提到他的群集大小调整指南对他们有帮助,因此我们将他的谈话部分转换为博客文章。 请享用!
yiduwangkai
2019-09-17
1.7K
0
A Practical Guide to Broadcast State in Apache Flink
大数据
apache
从版本1.5.0开始,Apache Flink具有一种称为广播状态的新型状态。 在这篇文章中,我们解释了广播状态是什么,并展示了如何将其应用于评估事件流上的动态模式的应用程序的示例。 我们将引导您完成开发步骤和代码,以实现此应用程序。
yiduwangkai
2019-09-17
870
0
【译】Flink Network Stack Vol. 2: Monitoring, Metrics, and that Backpressure Thing
大数据
在之前的博文中,我们介绍了Flink的网络堆栈如何从高级抽象到低级细节。 此系列网络堆栈帖子中的第二篇博客文章扩展了这一知识,并讨论了监视与网络相关的指标,以识别诸如背压或吞吐量和延迟瓶颈等影响。 虽然这篇文章简要介绍了如何处理背压,但未来的帖子将进一步研究调整网络堆栈的主题。 如果您不熟悉网络堆栈,我们强烈建议先深入阅读网络堆栈然后继续。
yiduwangkai
2019-09-17
563
0
【译】A Deep-Dive into Flink's Network Stack(3)
缓存
java
大数据
文件存储
单个 TaskManager 上的缓冲区总数通常不需要配置。需要配置时请参阅配置网络缓冲区文档。
yiduwangkai
2019-09-17
1.1K
0
【译】A Deep-Dive into Flink's Network Stack(2)
大数据
对于下图所示的示例,我们将假设4的并行性和具有两个任务管理器的部署,每个任务管理器提供2个插槽。 TaskManager 1执行子任务A.1,A.2,B.1和B.2,TaskManager 2执行子任务A.3,A.4,B.3和B.4。 在任务A和任务B之间的随机类型连接中,例如从keyBy(),在每个TaskManager上有2x4个逻辑连接,其中一些是本地的,一些是远程的:
yiduwangkai
2019-09-17
482
0
【译】A Deep-Dive into Flink's Network Stack(1)
大数据
windows
Flink的网络堆栈是组成flink-runtime模块的核心组件之一,是每个Flink工作的核心。 它连接所有TaskManagers的各个工作单元(子任务)。 这是您的流式传输数据流经的地方,因此,对于吞吐量和您观察到的延迟,Flink作业的性能至关重要。 与通过Akka使用RPC的TaskManagers和JobManagers之间的协调通道相比,TaskManagers之间的网络堆栈依赖于使用Netty的低得多的API。
yiduwangkai
2019-09-17
911
1
flink系列(10)-状态State和状态描述StateDescriptor
大数据
http
InternalKVState 提供了只对 Flink 引擎暴露的接口比如 namespace set/get、val get、namespace merging,这些接口并不稳定,Flink 引擎希望对上层应用屏蔽,而通过 State 接口暴露出来的方法普通用户是可以使用的。
yiduwangkai
2019-09-17
3.2K
0
flink系列(9)-flink任务提交流程分析
文件存储
大数据
连续写了几天的flink StreamGraph的代码,今天闲来说一下flink的启动,今天主要说的是本地模式(LocalStreamEnvironment)启动
yiduwangkai
2019-09-17
2.1K
0
【转】分布式数据流的轻量级异步快照
大数据
编程算法
apache
windows
分布式
本篇翻译自论文:Lightweight Asynchronous Snapshots for Distributed Dataflows,Flink的容错快照模型即来源于该论文。原文地址:https://arxiv.org/pdf/1506.08603.pdf
yiduwangkai
2019-09-17
981
0
flink系列(7)-streamGraph
大数据
编程算法
StreamGraph是flink四层执行图中的第一层图,代码在org.apache.flink.streaming.api.graph包中,第一层graph主要做的事情是将所有的stransformation添加到DAG中,并设置并行度,设置slot槽位
yiduwangkai
2019-09-17
908
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档