腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Flink
如何
保证
运算符
之间
的
数据
顺序
?
apache-flink
、
flink-streaming
、
flink-sql
在流媒体系统中,
数据
的
排序是一个很大
的
问题。 我们知道,在
flink
中,对
数据
的
处理是无序
的
,是使用窗口和水印。 但是,在内部
flink
中,在操作符
之间
,
如何
保证
数据
的
有序性?
flink
能否确保先处理高级
数据
? 或者在
运算符
中,
数据
的
顺序
打乱了
浏览 265
提问于2020-09-22
得票数 0
回答已采纳
1
回答
Apache
Flink
中
的
端到端精确处理一次
apache-kafka
、
apache-flink
、
flink-streaming
、
exactly-once
Apache通过从检查点恢复作业来
保证
在故障和恢复时处理一次,检查点是分布式
数据
流和操作符状态
的
一致快照(Chandy-Lamport算法用于分布式快照)。此
保证
在故障转移时恰好是一次。在正常
的
集群操作中,
Flink
如何
保证
只处理一次,例如给定从外部源读取
的
Flink
源(例如Kafka),
Flink
如何
保证
事件从源读取一次?事件源和
Flink
源<
浏览 3
提问于2020-09-30
得票数 3
回答已采纳
1
回答
当
Flink
源
运算符
为并行时,是否
保证
单个分区
的
输入
顺序
?
apache-flink
我知道来自一个主题
的
一条消息只能被一个组中
的
一个消费者消费,并且在一个消费者组中,每个消费者负责一个或多个分区。如果一个主题有4个分区,为了获取
数据
,我使用了env.addSource(FlinkKafkaConsumer).setParallism(4),它实际上会创建4个消费者实例吗?如果不是,当4个消费者共享同一个分区时,
如何
保证
消息
的
顺序
?
浏览 22
提问于2020-05-13
得票数 0
回答已采纳
2
回答
在同一键上使用链式keyBy调用
的
事件
顺序
apache-flink
、
flink-streaming
从中,我了解到来自某些inDataStream
的
事件
顺序
在下面的outDataStream中按键保持: .timeWindow输入了以下事件(在键上执行keyBy ):然后,outDataStream将对key1事件和key2事件保持相同
的
顺序
那么,如果我们将另一个keyBy/process链接在一起,我们就会再次得到相同
的</
浏览 0
提问于2018-05-14
得票数 1
回答已采纳
2
回答
FlinkKafkaConsumer中事件时间
顺序
的
保证
apache-kafka
、
apache-flink
、
flink-streaming
、
stream-processing
TL;DR:目前
保证
Flink
中事件时间
顺序
的
最佳解决方案是什么?myStream
浏览 4
提问于2019-10-24
得票数 2
回答已采纳
1
回答
Flink
如何
处理托管状态
的
序列化?
apache-flink
、
avro
、
flink-streaming
Flink
保存
运算符
的
托管状态(用于检查点或逻辑
运算符
之间
的
通信(即沿作业图
的
边缘))是什么格式?背景:我正在考虑从JSON切换到使用AVRO,既可以将中
的
数据
摄取到我
的
源中,也可以由向我
的
Sinks
浏览 4
提问于2017-12-21
得票数 2
回答已采纳
1
回答
如何
向
Flink
中
的
操作员发送静态(缓存
数据
)将大约每隔2小时刷新一次
apache-flink
、
flink-streaming
我在我
的
main方法中使用单例类(ConfigurationUtil)来加载静态
数据
,然后在我
的
操作符中使用它来处理事件,但我得到了空指针异常。我可以看到实例没有在主类中初始化。所以我尝试在AsyncDataStreamOperator中初始化ConfigurationUtil,但在加载之后,访问实例
数据
时出现了相同
的
NullPointer异常: .name("Externa
浏览 3
提问于2021-06-08
得票数 0
1
回答
spark结构流中
的
端到端只需一次语义
spark-structured-streaming
我正在尝试理解在下面的场景中,spark结构化流媒体中
的
端到端是否只有一次语义受到损害。 场景:启动具有kafka源和文件宿
的
结构化流作业。Kafka有16个分区,我正在与16个执行程序一起阅读。当特定
的
批处理未完成时,我中断了作业。16个任务中有8个任务已完成,我们生成了8个输出文件。现在,如果我再次运行该作业,批处理将启动,并从之前未完成
的
批处理
的
相同偏移量范围中读取
数据
,生成16个输出文件。现在有8个不完整批次
的
输出文件出现了重复,通过
数据
对比也
浏览 0
提问于2018-08-08
得票数 0
1
回答
Flink
恢复
顺序
apache-flink
我想知道有关
flink
恢复阶段
的
一些细节。操作员独立加载状态,然后恢复?或者按照拓扑
运算符
的
顺序
,先按
顺序
从源加载状态,然后恢复?
浏览 14
提问于2019-04-15
得票数 0
1
回答
flink
1.6流式处理非窗口左外部联接
顺序
错误
apache-flink
Streaming non window left outer join是
flink
1.6中
的
一个新特性。当我在两个动态表
之间
执行此操作时。join结果
顺序
错误。
如何
正确使用此功能?NonWindowJoin左表
的
状态和右表
的
状态都使用
flink
托管状态MapState。当我查看
flink
的
non window join代码时。我搞混了:(1) MapState
的
关键字是Row object。Ro
浏览 1
提问于2018-10-12
得票数 0
1
回答
kafka作为
flink
- partitioning
的
消息分派器
java
、
apache-kafka
、
apache-flink
我有一个进程,需要将某些
数据
分派到由3个节点组成
的
flink
集群(通过kafka)。据我所知,总共会有两个不同
的
主题。所有的消息都会有时间戳。消息
顺序
必须保持不变。我不能理解消息分区(键)背后
的
机制。如果我希望拥有如上所述
的
简单消息分派器,消息分区重要吗?如果是这样,我应该根据什么来选择它?
浏览 1
提问于2018-09-10
得票数 0
1
回答
在
Flink
JVM内存中
的
任务槽
之间
共享
数据
apache-flink
、
flink-streaming
然后我
的
6。工作订阅了它。但是由于卡夫卡
的
工作量已经很高,这个解决方案使卡夫卡
的
工作量增加了一倍。由于所有任务插槽都在同一个任务管理器JVM中运行,我心中
的
想法是开发使用相同 java对象
的
自定义RichSink和RichSource函数。由于它是静态
的
,我想所有的任务都可以访问同一个对象。这个对象将保持一个队列(java BlockingQueue).Instead将
数据
提供给Kafka,我将在所有任务中输入这个队列,6.任务将处理从该队列接收到
的
<
浏览 13
提问于2022-12-02
得票数 0
1
回答
原始状态与托管状态
的
示例
apache-flink
我试图理解原始状态和管理状态
之间
的
区别。从医生那里: 托管状态以
Flink
运行时控制
的
数据
结构(如内部哈希表或RocksDB )表示。
Flink
的
运行时对状态进行编码,并将它们写入检查点。 Raw状态是
运算符
保存在自己
的
数据
结构中
的
状态。当检查点时,它们只向检查点写入一个字节序列。
Flink
对状态
浏览 2
提问于2019-11-30
得票数 0
回答已采纳
1
回答
Apache
Flink
:
如何
为键控CoFlatMapFunction划分事件?
apache-flink
、
flink-streaming
这是一个关于连接
的
键控流
的
非常基本
的
问题。如果我有两个流,具有共享相同逻辑键
的
相关事件,并且这些流正在连接(使用键逻辑连接),并且都以> 1
的
并行性运行,那么
Flink
如何
保证
来自不同流
的
两个具有相同逻辑键
的
事件最终在同一并行操作符实例中?
Flink
将
保证
患者"JohnDoe“
的
所有Temperature事件都将在相同
的
并行操作符
浏览 79
提问于2018-06-03
得票数 0
回答已采纳
1
回答
委托调用
顺序
c#
、
delegates
我在“考试参考文献70-483 C# - Rob Miles第二版编程”一书中找到了这个部分: 订阅服务器通过使用+=
运算符
绑定到发布服务器。+=
运算符
被重载以在委托和行为
之间
应用。它
的
意思是“将此行为添加到此委托
的
行为中”。不
保证
按照添加到委托
的
顺序
调用委托中
的
方法。 这部分
的
最后一句令人困惑。据我所知,调用列表
的
顺序
是。或者我误解了它,这只意味着答案中提到<
浏览 2
提问于2019-01-28
得票数 1
回答已采纳
2
回答
Flink
将Apache光束捆绑在一起,不显示单独
的
任务块
apache-flink
、
apache-beam
我有一个运行在
Flink
runner上
的
光束管道,如下所示: ? 光束中
的
整个管道都被捆绑到这个区块中。为什么
Flink
用这种方式来说明它? ? 当然,管道步骤中
的
不同pardo应该由不同
的
块和工作者来表示(就像在Google
的
数据
流中一样)。是否需要在
Flink
运行器中设置某些内容以显示更细粒度
的
任务,或者
Flink
UI是否仅为原生
Flink
代码构建,而这正是该
浏览 24
提问于2021-07-05
得票数 1
1
回答
在纱线上使用Ignite确保本地缓存
apache-flink
、
ignite
、
flink-streaming
我有一个用
Flink
编写
的
流处理应用程序&我想从状态后端使用它
的
内部键值存储来计算流聚合。例如,每个节点在一个8 GB
的
容器中有一个单独
的
Ignite节点可用,无论它是运行1个还是10个
Flink
运算符
。 问题是我希望
Flink
和Ignite都在纱线上运行。通过一致性分区,我可以确保
数据
通常被发送到正确
的
缓存,并且在出现故障等情况下,可以从HBase重新填充
数据
。然而,我面临
的</e
浏览 3
提问于2016-02-08
得票数 1
1
回答
准确-一次:谁在存储历史
数据
、
flink
还是
数据
源?
apache-flink
、
flink-streaming
、
fault-tolerance
、
exactly-once
我知道Apache完全有一次
的
能力,这依赖于检查点机制和可刷新
的
数据
源。说
数据
源是Apache,那么我能让Kafka存储历史
数据
吗?我能让
Flink
存储历史
数据
吗?或者我能让他们两个都这样做吗?如果他们能一起做这件事,这是否意味着我可以让卡夫卡存储一部
浏览 3
提问于2020-05-11
得票数 1
回答已采纳
1
回答
重载逗号
运算符
*真的影响其操作数
的
计算
顺序
吗?
c++
、
operator-overloading
、
language-lawyer
、
operator-precedence
、
comma-operator
逗号操作符
保证
从左到右
的
计算
顺序
. [n3290: 5/2]:备注:<em
浏览 4
提问于2011-10-19
得票数 14
回答已采纳
1
回答
Flink
,在使用多个Kafka源时,
如何
正确设置并行性?
apache-flink
、
flink-streaming
我仍然不能清楚地理解并行性,比方说,我们有一个
flink
集群,它有足够
的
插槽。在我们
的
flink
工作中,我们从3个不同
的
kafka集群中使用3个kafka主题,每个主题有10个分区。如果我们将并行性设置为10,那么就会使用10个槽,这意味着,根据我
的
理解,10个线程对吗?如果这10个线程“连接”到topic_1,那么就没有线程读取topic_2和topic_3。如果我们将并行性设置为30,那么就有30个线程,但这30个线程是否足够聪明,它们中
的
10个会转到topic_1
浏览 0
提问于2019-03-13
得票数 12
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Flink CDC 如何保证事件的顺序性?
Flink 如何进行流与流之间的连接和联合?
Flink CDC 如何捕获数据库中的数据变化?
Spring Cloud中如何保证各个微服务之间调用的安全性
flink handbook-flink数据流编程模型
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券