腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
flink
会
复制
每个
流
中
的
元素
还是
使用
相同
的
对象
?
apache-flink
、
flink-streaming
如果两个运算符正在处理
相同
的
上游,
每个
运算符是接收
每个
元素
的
副本
还是
处理
相同
的
元素
。例如,在以下代码
中
: DataStream<Data> stream=...; //init a stream of data stream.process(ProcessFunctionA); //stream
浏览 120
提问于2021-04-24
得票数 1
回答已采纳
3
回答
Flink
:带有延迟
元素
的
水印
apache-flink
、
flink-streaming
我在
Flink
中
做实时
流
,其中Kafka是消息队列。我正在申请120秒
的
EventTimeSlidingWindow。滑动1秒。我还在事件时间
的
每一秒插入水印。我担心
的
是,如果
元素
会在水印之后延迟出现,会发生什么?现在在我
的
情况下,
Flink
简单地丢弃了它各自
的
水印之后
的
消息。filnk是否提供了任何机制来处理这种延迟消息,比如维护单独
的
窗口?
浏览 19
提问于2017-01-19
得票数 3
回答已采纳
1
回答
什么是
Flink
的
操作员?操作符状态和键状态有何不同?
apache-flink
据我理解,
Flink
中
的
运算符有源运算符、变换运算符等。对于
Flink
中
的
运算符,我
的
理解是否正确?在操作符状态
中
,
Flink
是为
每个
作业/任务维护
每个
操作符
的
状态(map()、or ()等)
还是
维护一个完整作业/任务
的
状态?另外,如果我
的
作业提交了多个并行性,那么
每个
槽会有自己
的<
浏览 0
提问于2019-07-22
得票数 2
回答已采纳
1
回答
flink
如何处理两个
流
按键连接,但没有匹配
的
键
stream
、
apache-flink
我是
flink
的
新手。我有两个由FlatMapFunction生成
的
DataStream,我想用
相同
的
键连接它们,一个steam
的
元素
在其他
流
中
找不到匹配
的
键是什么,
flink
会对这个
元素
做什么,它会永远存储在状态
中
吗?
每个
平面图都会生成大量
的
元素
,我想在
每个
平面图上完成连接。 连接两个可能有
浏览 12
提问于2019-09-11
得票数 0
1
回答
Flink
EventTime应用程序
中
的
每条记录都需要时间戳吗?
apache-flink
、
flink-streaming
我正在构建一个
Flink
流
系统,它可以同时处理实时数据和历史数据。所有数据都来自同一个源,然后在split中进入历史和动态。实时数据得到时间戳和水印,而历史数据则按顺序接收.在活动
流
被加窗后,两个
流
被合并并流到
相同
的
处理管道
中
。如果EventTime
流
环境
中
的
所有记录都需要时间戳,或者
Flink
甚至可以同时处理这种实时和历史数据,我就找不到了。这是一个可行
的
方法,
还是</e
浏览 2
提问于2018-12-13
得票数 0
回答已采纳
1
回答
在
Flink
streaming中
使用
静态DataSet丰富DataStream
bigdata
、
apache-flink
、
data-analysis
、
flink-streaming
我正在写一个
Flink
流程序,其中我需要
使用
一些静态数据集(信息库,IB)来丰富用户事件
的
DataStream。例如,假设我们有一个买家
的
静态数据集,我们有一个传入
的
事件点击
流
,对于
每个
事件,我们想要添加一个布尔标志来指示事件
的
实施者是否是买家。实现这一点
的
理想方法是按用户id划分传入
的
流
,让买家集在DataSet
中
可用,并再次按用户id划分,然后在该DataSet
中</e
浏览 3
提问于2018-04-04
得票数 5
1
回答
使用
Apache
Flink
进行数据
流
apache-flink
、
flink-streaming
我正在构建一个要求低于要求
的
应用程序,我刚刚开始
使用
flink
。您认为
flink
最适合我
的
用例吗?
还是
应该
使用
Storm、Spark
流
或任何其他
流
平台?我是否需要在google数据
流
中
编写数据管道来执行
flink
上
的
步骤序列,
还是
有其他方法来执行实时
流
的
步骤序列?假设我
的
每一次计算花费大约20
浏览 2
提问于2016-06-10
得票数 3
1
回答
具有多个并行性
的
Flink
广播状态
apache-flink
、
flink-streaming
、
flink-sql
让我把它说出来,我是一个非常初学者
的
Flink
,并试图抓住尽可能多
的
概念。编辑 因此,任务管理器读取广播
流
并将其广播到下游任务。例如:假设有一个卡夫卡<em
浏览 2
提问于2019-10-21
得票数 0
1
回答
如何设置作用于多个
流
的
Flink
运算符
apache-flink
、
apache-storm
、
flink-streaming
我正在研究
使用
Flink
作为流媒体引擎。我来自apache-storm,据我所知,storm
的
Bolt类似于
Flink
的
任务/操作符。在风暴
中
,一个人可以 builder.setBolt("TEST", new TestBolt(),5)
浏览 32
提问于2021-07-20
得票数 0
1
回答
使用
onTimer和processElement
的
Apache
Flink
超时
apache-flink
、
actor
、
flink-streaming
我
使用
Apache
Flink
processElement1、processElement2和onTimer
流
设计模式来实现超时用例。我观察到,当我包含超时功能时,系统
的
吞吐量下降了几个数量级。关于
Flink
中
onTimer
的
内部实现
的
任何提示:它是
每个
键
流
一个线程(不太可能),
还是
一个池/单个执行线程,不断轮询缓冲
的
回调并挑选超时回调以供执行。据我所知,
Fli
浏览 31
提问于2020-08-26
得票数 0
回答已采纳
2
回答
Apache
中
混乱()和再平衡()
的
区别
bigdata
、
apache-flink
、
partitioning
、
flink-streaming
我正在从事我
的
学士学位
的
最后一个项目,这是关于Apache
流
和Apache (仅
流
)之间
的
比较,我刚刚来到
Flink
文档
中
的
“物理分区”。问题是,在本文档
中
,它没有很好地解释这两个转换是如何工作
的
。直接从文件: rebalance()**:分区
元素
循环,在
每个
分区创建
相同
的
负载
浏览 4
提问于2017-05-13
得票数 7
回答已采纳
1
回答
Apache
Flink
-为多租户应用程序多次运行
相同
的
任务
apache-spark
、
spark-streaming
、
apache-flink
、
apache-storm
、
flink-streaming
我们有一个多租户应用程序,其中维护
每个
租户
的
消息队列。我们已经实现了一个
Flink
作业来处理消息队列
中
的
流
数据。基本上,
每个
消息队列都是
Flink
作业
中
的
一个源。这是建议
的
做法吗?
还是
可以根据租户
的
数量多次运行同一个作业(
使用
一个源)?我们预计
每个
租户都会产生不同数量
的
数据。在多任务方法中会有什么可伸缩性<em
浏览 2
提问于2020-07-03
得票数 0
回答已采纳
1
回答
Apache :如何更改缓冲区超时参数?
apache-flink
、
flink-streaming
Apache缓冲任务
的
传出,然后将其发送到下一个任务进行处理。缓冲区
会
影响延迟,而且正如我所知道
的
,即使缓冲区未被填充,也存在缓冲发送数据到下一个任务
的
超时。 如我所知,即使任务位于同一个TaskManager上,
Flink
缓冲区也是如此。在这种情况下,它将影响处于同一TaskManager<
浏览 3
提问于2017-08-01
得票数 3
回答已采纳
2
回答
keyBy是否在
Flink
(scala)
中
跨并行任务对DataStream进行分区?
scala
、
parallel-processing
、
guava
、
apache-flink
、
flink-streaming
我想对
Flink
中
的
一个输入数据
流
应用ProcessFunction(),用一个缓存
对象
处理
每个
传入
的
元素
。Update cache } } } 当我并行化这个作业时,我假设该作业
的
每个
并行实例都有它自己
的
cacheObject,因此,单个缓存
浏览 41
提问于2019-04-05
得票数 0
回答已采纳
3
回答
使用
Flink
-Kafka连接器均匀地消耗事件
apache-flink
、
flink-streaming
我正在
使用
Flink
来处理Kafka
的
流
数据。流程是非常基本
的
,从Kafka消耗,数据丰富,然后沉到FS。“划分
元素
循环,为
每个
分区创建
相同
的
负载。在存在
浏览 4
提问于2020-06-16
得票数 2
回答已采纳
2
回答
Flink
中
Spark
的
等效RDD ForEach
apache-spark
、
spark-streaming
、
apache-flink
、
flink-streaming
在Apache Spark
中
,很多时候我们
使用
RDD forEach来评估或处理RDD
中
的
每个
数据...我想知道在Apache
Flink
中
相同
的
等价物是什么?
浏览 3
提问于2016-06-27
得票数 1
1
回答
在纱线上
使用
Ignite确保本地缓存
apache-flink
、
ignite
、
flink-streaming
我有一个用
Flink
编写
的
流
处理应用程序&我想从状态后端
使用
它
的
内部键值存储来计算
流
聚合。取而代之
的
是,我希望在Apache Ignite
中
维护一个状态缓存,这样就可以
使用
直写和直读特性在HBase中提供更可靠
的
备份。理想情况下,我应该在
每个
物理节点上都有一个本地Ignite缓存,用于处理该节点上所有长期运行
的
Flink
操作符
的
状态。例如
浏览 3
提问于2016-02-08
得票数 1
1
回答
同一键上
的
多个
流
之间
的
连接
apache-flink
我有一个关于在
Flink
(Equi)
中
连接
相同
键上
的
多个
流
的
问题。我仍然是为我
的
团队评估
Flink
的
新手,将我们
的
Spark批处理应用程序迁移到
流
处理。注意:我看了Fabian Hüske关于连接处理
的
这篇文章:。 为了简化这个问题,让我们假设您有3个
流
,并且
每个
流
都有唯一
的
记录,可以由id字段键控。对于<e
浏览 3
提问于2020-01-16
得票数 0
回答已采纳
1
回答
Flink
的
窗口操作是处理窗口末尾
的
元素
,
还是
做滚动处理?
apache-flink
、
flink-streaming
我有一些困难,了解窗口是如何在内部实现
Flink
,并没有找到任何文章,以解释这一点
的
深入。在我看来,有两种方法可以做到。.window(Time.of(500, TimeUnit.SECONDS)).sum(1) 方法1:将所有事件存储500秒,在窗口
的
末尾,通过对存储
的
事件应用和操作来处理所有事件。方法2:我们
使用
一个计数器来存储
每个
窗口
的
滚动金额。当窗口中
的
每个
事件出现时,我们不会存储单个事件,而是继续将1添加到以前存储
的
浏览 6
提问于2022-01-17
得票数 0
回答已采纳
1
回答
Flink
SQL
中
的
控件
流
apache-flink
、
flink-streaming
、
flink-sql
使用
stream,我可以编写接受控制
流
和数据
流
的
RichCoFlatMapFunction,控制
流
包含开始、停止或更改计算参数
的
元素
,我知道我可以将当前
的
控件设置存储在状态
中
,并在处理数据
流
时检查值。但是,用
Flink
SQL做类似事情
的
方法是什么呢?我不能
使用
连接作为数据
流
和控制
流
不能连接在一起。 我们提出
的
浏览 1
提问于2018-03-23
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Flink EventTime 和 Watermark
flink handbook-flink数据流编程模型
大数据入门:Flink状态编程与容错机制
Flink高级应用模式第一辑:欺诈检测系统案例研究
从Storm到Flink:大数据处理的开源系统及编程模型
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券