腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
连接
的
键控数据流上
的
coProcessFunction与
keyedCoProcessFunction
apache-flink
、
flink-streaming
在引用
Flink
代码示例时,我观察到当
使用
connect操作符
连接
两个
流
时,coProcessFunction和
keyedCoProcessFunction
在操作键控
流
(覆盖processElement1、processElement2和onTimer)时几乎可以互换和相同地扩展,所以当操作键控
流
时,与
keyedCoProcessFunction
相比,扩展CoProcessFunction来实现键控
连接
流
的<
浏览 127
提问于2020-09-02
得票数 1
回答已采纳
1
回答
Apache中
的
DataStream和KeyedStream有什么区别?
join
、
streaming
、
apache-flink
我在
使用
Flink
连接
两个
流
的
上下文中查看,并希望了解这两个
流
之间
的
区别以及影响
Flink
处理它们
的
方式。作为一个相关
的
问题,我还想了解CoProcessFunction与
KeyedCoProcessFunction
有何不同。
浏览 2
提问于2021-02-17
得票数 1
回答已采纳
1
回答
使用
KeyedCoProcessFunction
的
Flink
连接
流
apache-flink
、
flink-streaming
对于1:1
连接
,我
使用
KeyedCoProcessFunction
,我有两个
流
,查找
流
(每秒100条记录)和点击
流
(每秒10000条记录)。在processElement2方法中,我在MapState<Long,Row>中寻找关键字,如果找到的话,用它来丰富点击
流
数据,否则将此记录设置为端输出,然后将端输出设置为kafka。我没有在两个输入流上
使用
任何窗口。对于kakfa中
的
dlq主题,我连续看到每秒产生1-2条记录,在将
浏览 132
提问于2021-11-11
得票数 0
回答已采纳
1
回答
Flink
SQL作业堆空间不足
apache-flink
、
flink-streaming
、
flink-sql
我正在运行一个查询来
连接
一个
流
和一个表,如下所示。它正在耗尽堆空间。即使它在
flink
集群中有足够
的
堆空间(60 it * 3) 此查询是否需要驱逐策略?
浏览 6
提问于2019-09-26
得票数 0
1
回答
Apache
Flink
中
的
事件重试机制
apache-kafka
、
apache-flink
、
flink-streaming
我正在阅读Kafka
的
多个主题,然后进行状态操作,然后再次保存到Kafka。延迟
流
的
另一端: delayQueue(written by
flink
) => consumerAPP(check retrycounts and timestamps) => anotherQueue(这将再次被
flink
消费。我不想再次向主主题发送消息,因为主主题也被另一个团队
使用
。) 这种方法好吗?可以用更少
的
努力来改善这个流程吗?或者,有没有什么最佳实践?
浏览 35
提问于2021-04-24
得票数 1
1
回答
如何在
flink
中加入两个kafka
流
(一个在运行,第二个是静态
的
,只有很少
的
记录像一个主表)
apache-flink
、
flink-streaming
我想在第二
流
的
帮助下充实我
的
第一
流
,像流动
的
记录一样,像查找一样加入第二
流
,我想把它永远保存在记忆中,就像一张桌子。我可以
使用
的
任何代码示例或
flink
API都适用于这个用例。
浏览 5
提问于2022-05-30
得票数 0
1
回答
如何在Apache
Flink
中合并两个DataStreams
apache-flink
、
flink-streaming
我正在
使用
Flink
来处理我
的
流
数据。 我有两个数据源:A和B。DataStream<String> dataA = env.addSource(sourceA);DataStream<String> dataB = env.addSource(sourceB); 我
使用
map处理来自A和B
的
数据。我尝试做
的
是将它们合并为Aaaa, Bbbb, Cccc...以生成一个新
的
DataStream&l
浏览 49
提问于2020-07-23
得票数 0
回答已采纳
1
回答
在
Flink
中加入静态和动态Kafka源
apache-kafka
、
apache-flink
今天,我想谈谈一个关于
Flink
的
概念性话题,而不是一个技术性的话题。 在我们
的
例子中,我们确实有两个卡夫卡主题A和B,它们需要结合在一起。
连接
应该始终包括主题A中
的
所有元素,以及主题B中
的
所有新元素。实现这一目标有两种可能性:始终创建一个新
的
使用
者并从一开始就开始
使用
主题A,或者一旦
使用
完就将主题A中
的
所有元素保持在一个状态内。现在,技术方法是通过
连接
两个DataStreams来
浏览 8
提问于2020-03-19
得票数 0
回答已采纳
1
回答
如何
使用
Flink
实现不同数据源之间
的
流
连接
?
apache-flink
、
flink-streaming
、
flink-sql
我
的
数据来自两个不同
的
Kafka主题,由不同
的
代理提供服务,每个主题具有不同数量
的
分区。一个
流
有关于正在提供
的
广告
的
事件,另一个
流
有点击:ad_clicks: ad_id, ip, cTime 流程函数
的
文档中有一节介绍了如何
使用
CoProcessFunction或
KeyedCoProcessFunction
实现,但我不确定如何设置。我还想知
浏览 2
提问于2021-07-15
得票数 2
1
回答
使用
状态
的
Flink
KeyedCoProcessFunction
apache-flink
、
flink-streaming
我
使用
KeyedCoProcessFunction
函数来
使用
来自另一个
流
的
数据丰富主数据。代码: packet: PacketData,
浏览 2
提问于2022-03-28
得票数 1
回答已采纳
1
回答
Flink
流
顺序
java
、
apache-flink
Flink
是否保证
流
的
执行顺序?我可以将parallelism设置为1来绕过这个问题,但是我想知道我看到
的
是否是预期
的
?return new JSONObject(e.f1).getString(&
浏览 11
提问于2021-09-06
得票数 0
1
回答
对intervalJoin感到困惑
scala
、
apache-flink
、
flink-streaming
我试图想出一个解决方案,其中包括在
连接
操作之后应用一些逻辑,从多个EventB中从streamB中选择一个事件。它类似于一个约简函数,但它只返回一个元素,而不是增量地执行它。因此,最终结果将是一个(EventA,EventB)对,而不是一个1 EventA和多个EventB
的
交叉乘积。假设像上面这样
的
连接
操作,它用4 EventA生成了1个EventB,成功地加入并收集在MyJoinFunction中。我知道我可以在联接之后应用另一个窗口操作来对所有对进行分组,但我希望在
连接
成功后立即进行。因此,如果可能
浏览 2
提问于2021-03-25
得票数 0
回答已采纳
1
回答
用
Flink
实现大时间Windows
的
流
连接
apache-flink
、
flink-streaming
我需要
连接
两个基于键
的
事件源。这两件事之间
的
差距可以长达一年。event1和id1可能在今天到达,而来自第二个事件源
的
对应
的
event2和id1可能会在一年后到达)。假设我只想流出已
连接
的
事件输出。我正在探索与RocksDB后端一起
使用
Flink
的
选项(我遇到了似乎适合我
的
用例
的
Table )。我无法找到执行这种长窗口
连接
的
引用架构。我期待这个系
浏览 1
提问于2019-10-01
得票数 1
回答已采纳
1
回答
如何
使用
Flink
MiniCluster触发ProcessTimeTimer
apache-flink
、
flink-streaming
我有一个
Flink
KeyedCoProcessFunction
,它在一个更大
的
Flink
流
作业中注册处理时间计时器,并且我正在尝试
使用
Flink
为整个作业创建单元测试。但是我不能让
KeyedCoProcessFunction
中
的
onTimer()回调触发。 有没有人把这个弄好了?它需要特殊
的
配置吗?切换到事件时间可以很好地工作,所以我想知道这是不是对
Flink
MiniCluster不起作用,或
浏览 0
提问于2020-08-26
得票数 3
1
回答
Apache
flink
从late window访问键控状态
apache-flink
、
flink-streaming
我正在编写一个
Flink
应用程序,它
使用
kafka主题中
的
时间序列数据。时间序列数据包含指标名称、标记键值对、时间戳和值等组件。我已经创建了一个滚动窗口,用于根据指标键(指标名称、键值对和时间戳
的
组合)聚合数据。我正在考虑
使用
flink
的
"allowedLateness“功能将延迟指标发送到不同
的
流
。,“收集延迟指标并找到延迟指标的百分比”操作员能否访问主流更新
的
"MapState“。即使它们是由
浏览 17
提问于2021-08-09
得票数 0
回答已采纳
1
回答
是来自processElement1和processElement2
的
KeyedCoProcessFunction
原子w.r.t。州?或者它们可以同时修改共享状态?
apache-flink
、
flink-streaming
我有两个
流
,一个数据
流
只包含一个设置ValueState passing=true/false
的
标志,另一个控制
流
添加了一个用户将被通知给MapState。当passing从false更改为true时,会向MapState中尚未收到通知
的
用户发出通知。 下面是处理此逻辑
的
KeyedCoProcessFunction
。class TestKeyedCoProcessFunction extends
Key
浏览 1
提问于2021-02-07
得票数 1
回答已采纳
1
回答
在Apache中加入DataStreams
apache-flink
、
flink-streaming
我在Apache中有两个DataStreams来自
Flink
训练 .window(TumblingEventTimeWindows.of(Time.milliseconds(2)))测试是可以
的
,但是在中我发现了与RichCoFlatMapFunction
的
连接
,您能帮我理解一下: 哪种类型
浏览 3
提问于2021-05-19
得票数 0
1
回答
用MiniCluster测试
flink
作业以
使用
处理时间触发计时器
apache-flink
、
flink-streaming
、
flink-batch
在用MiniClusterWithClientResource测试
flink
作业时,是否有办法控制触发 timer
的
处理时间?我能够测试
KeyedCoProcessFunction
的
两种方法,即processElement().触发计时器回调,例如onTimer().在单元中,
使用
testharness测试并控制处理时间,即://通过直接提高操作者
的
处理时间testHarness.setProcessingTime(300000)来触发处理时间定时器 因此。但是,我现
浏览 2
提问于2020-08-25
得票数 0
1
回答
使用
KeyedCoProcessFunction
完成左外部联接
flink-streaming
我有两个有界
的
流
,我是通过一个左边
的
外部
连接
加入
的
,左边可以很大。这意味着我不能
使用
简单
的
coGroup()支持,所以我必须在
KeyedCoProcessFunction
中
使用
(RocksDB支持
的
)状态。我
的
问题是,当
流
终止时,如何最好地发出所有未
连接
的
左侧记录(保存在ListState中)?我可以尝试保存在processElement1()&
浏览 4
提问于2022-04-05
得票数 0
1
回答
如何在
Flink
表API中加入两个数据
流
和滑动窗口函数?
apache-flink
、
flink-streaming
、
apache-zeppelin
、
flink-sql
、
amazon-kinesis-analytics
我有两个来自两个Kafka主题
的
流
表,我想加入这些
流
并对所
连接
的
数据执行聚合功能。需要
使用
滑动窗口
连接
流
。在
连接
和窗口数据时,我将得到一个错误Rowtime attributes must not be in the input rows of a regular join.TIMESTAMPDIFF(SECOND, ep.event_
flink
_time, cep.event_
flink
_time
浏览 25
提问于2022-05-24
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Flink 如何进行流与流之间的连接和联合?
流计算框架 Flink与Storm 的性能对比
Flink基础教程(一):流处理技术的演变
Apache Flink的下一步:不止于流处理
Flink on PaaSTA:Yelp运行在Kubernetes上的新流处理平台
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券