1回答
我想加入一个大的小溪和一个小的小溪。我想广播较小的流，然后将其连接到较大的流。但是，我不确定如何存储广播的模式，以及如何在processElement method中查找匹配的模式，然后将这两个元素组合在一起。 编辑:我已经设法使用下面的代码片段制作了一个广播加入的原型。我调整了在官方训练资源库中找到的普通连接：https://github.com/apache/flink-training/blob&
浏览 28提问于2021-09-08得票数 0
例如，假设我希望通过在键上加入一个具有更多值的查找表来丰富集合。在火花运行器中，我更愿意为这个操作符做一个广播连接，就像在flink运行器中一样，我想进行rpc调用(比如redis)，根据键加载值。相同的逻辑语义，但基于运行程序的不同执行。
浏览 2提问于2022-01-22得票数 -1
回答已采纳
2回答
所以我在一个DataStream上运行一个映射函数，在这个映射函数中，我想连接两个独立的DataSets。我只是想知道这在Flink中是否可行。
浏览 17提问于2018-01-21得票数 0
1回答
在flink广播流中处理大数据
、、、、
我使用的是一个Flink流应用程序，它的输入源是Kafka。在我的应用程序中总共使用了4个流。一个是主要数据流，另一个是3个用于广播流。流B是一个丰富数据集。我使用类型加入了三个广播流。我已经广播为B流，并且能够在广播过程中接收函数上下文状态(即在processBroadcastElement()中)。如果可能的话，存储大数据意味着，有多少数据(即数据大小)
浏览 3提问于2020-07-24得票数 0
我想知道是否有任何方法可以在运行时在Apache Flink中的一个操作符内的并行执行之间传输信息？我只需要发一点信息。Flink中的广播变量不起作用，因为它不能在运行时广播。
浏览 6提问于2018-02-24得票数 0
我是Flink的新手。我真的很困惑如何进行文件缓存并将其加载到数据集中？我找不到一个简单的例子。我搞不懂为什么我们需要先创建一个数据集来调用"RichMapFunction“？在我发现的中，它执行了与其他数据集的连接。谢谢。
浏览 5提问于2021-07-23得票数 0
1回答
我想对批处理数据执行Flink SQL。(S3中的CSV)例如，我的查询包括对两个表进行筛选和加入筛选的结果。我希望Flink不要以阻塞批处理的方式实现这两个表，然后通过join传递结果，而是使用流哈希连接操作符，就像datastream中的那样。
我怎样才能做到这一点？我正在使用PyFlink。
浏览 6提问于2022-04-02得票数 1
1回答
该广播状态是通过每10分钟读取5个S3文件，进行一些处理，并创建播放的int to list of strings地图来创建的。问题:在哪里读取文件，是否在JobManager读取和处理文件，并将处理过的内容发送给任务管理人员。是任务管理人员负责所有的读取和处理。例如：假设有一个卡夫卡流，有5个分区，需要广播。还有一个下游操作符，它的并行性也是5。
Partition1使用者任务，从流中读取元素并将其设置为广播状态。一旦设置完毕，状态就会广播到所
浏览 2提问于2019-10-21得票数 0
1回答
我试图为长期运行的flink作业实现外部配置。我的想法是创建自定义源，通过http定期(每5分钟)从外部服务轮询JSON编码的配置。
如何创建每N分钟执行一次操作的源？如何将此配置重新广播给所有执行程序？
浏览 2提问于2017-10-25得票数 2
回答已采纳
在Flink-作业目前，我有两个流，一个主要数据流每分钟更新一次从卡夫卡主题，另一个流(广播流)，这是用于KeyedBroadcastProcessFunction的进程元素功能的一些计算与主流数据。1)如何通过必须在Flink状态下可用的第三流，以便与主数据和广播状态数据一起进行计算？在keyedBroadcastProcess函数中？
( 2)对于主要数据，我们能有两个广播流吗？3)由于流数据是完全不同的数据，广播</em
浏览 5提问于2020-06-03得票数 0
回答已采纳
我需要让一个AsyncIO富函数根据最新的规则集执行调用。对于像map这样的操作，我能够通过关注这篇博客文章来处理具有丰富功能的BroadcastConnectedStream：https://flink.apache.org/2019/06/26/broadcast-state.html但是，创建AsyncIO函数需要DataStream作为输入，而BroadcastConnectedStream不需要(https://ci.apache.o
浏览 29提问于2020-06-19得票数 0
回答已采纳
1回答
在Flink中广播“加入”
、、、、
是否有任何方法，我可以使用广播连接在FLINK与我在火花使用的方式。我正在使用联接，但是数据很大，所以我需要广播连接。
谢谢
浏览 0提问于2019-10-17得票数 0
回答已采纳
1回答
有些事件是广播事件，意味着当收到此类事件时，我需要转到数据库表，查找事件的所有订阅者，在我的用例中可以是10,000行，然后将单个广播事件转换为10,000个通知事件。对于普通事件类型，可以使用附加的user_id键来加入订阅表，而订阅表没有问题。--如何加入大型ResultSet，将它们返回内存--似乎不是一个可伸缩的解决方案。如何组织处理管道，使正常事件和广播事件不相互干扰。我不希望连续长时间运行的广播事件阻塞正常事件的处理管道。
我刚刚
浏览 2提问于2020-04-26得票数 0
我对“广播状态”和广播()操作符之间的区别感到困惑，最后在下面的线程中得到了Flink专家的帮助。最后得出结论：“广播状态”可以在RichCoFlatMap键控流中存储动态规则，而RichCoFlatMap ()运算符不能存储动态规则，那么我可以知道“广播状态”如何通过RichCoFlatMap存储动态规则
浏览 2提问于2018-05-28得票数 0
回答已采纳
外部数据库由每个键的一组规则组成，这些规则应该应用于Flink作业中的每个流元素。因为为每个元素调用DB并检索规则的开销非常大，所以我希望在初始化时从数据库获取规则，并将其存储在本地缓存中。当在外部数据库中更新规则时，将向Flink作业发布一个状态更改事件，该事件应用于获取规则并刷新此缓存。
实现我所描述的目标的最佳方法是什么？
浏览 0提问于2021-01-22得票数 0
1回答
例如，考虑一个流应用程序，在该应用程序中，我们正在监视在系统中注册的司机的车辆事件。这些事件将以KStream的形式出现。在系统中注册的驱动程序将在一个KTable中，我们需要加入事件和驱动程序来获得一些输出。假设我们通过一个微服务在系统中插入一个新的驱动程序，它将数据推送到Cassandra表中，然后通过更改数据捕获到KTable主题。会更好地使用星火流或Flink将事件流与卡桑
浏览 7提问于2022-09-12得票数 0
回答已采纳
1回答
使用flink版本1.13.0 我在我的应用程序中使用广播状态，它将每2分钟加载大量数据( Map类型的大约500'000个数据) 我在web-ui中看到的拓扑图发现，每次广播源加载时，它都有50%-100%的背压，加入的过程有50%-100%的繁忙。
浏览 27提问于2021-08-16得票数 0
回答已采纳
从Flink 1.5发布公告中，我们知道Flink现在支持“广播状态”，并描述了“广播状态为Flink的CEP库的”动态模式“特性的实现打开了障碍。”这是否意味着目前我们可以使用“广播状态”来实现“动态模式”而不需要Flink CEP？另外，我不知道在有或没有广播状态的情况下实现Flink CEP的“动态模式”有什么区别？=============
测试广播数据流的更新.使用键控-datastrea
浏览 1提问于2018-05-26得票数 0
回答已采纳
我想知道在flink中是否有一种方法可以广播一个事件(或类似的东西)，如果特定的事件从源代码读取到所有的任务管理器中。更具体地说，我正在使用映射状态聚合状态数据，如果从源读取了一些事件，我希望所有任务管理器都执行特定的操作
有可能吗？
浏览 2提问于2019-10-07得票数 0
1回答
在我的Java应用程序中，我有3 DataStreams。例如，一个流数据是从Kafka消费的，另一个流数据是从Apache消费的。对于这两个流，对象类型是不同的。第三种是广播流(因为这些数据是从Kafka消费的)。加入了缓慢变化的数据流：--我们用来丰富内容的侧输
浏览 3提问于2020-06-02得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
