2回答
使用Flink同步的进程2流
、、、、
我有两个流A和B。 我开始同时摄入A和B。 流A只在每分钟的59秒获得一条记录。 流B获取一分钟内的任何一秒的记录。 我希望处理两个流是同步的。示例:从流A在10:01:59之后，我将在10:02:59收到一条记录，直到10:02:59我也不想从流B读取任何内容。 这可以在Flink中实现吗？
浏览 48提问于2021-01-21得票数 0
1回答
我正在用ps -p TaskManagerPID -o rss测量应用程序(ps -p TaskManagerPID -o rss)的内存使用情况。然而，这些结果没有任何意义。因为对于每一数量的数据(1MB、10 1MB、100 1MB、1GB、10 1GB)，使用的内存数量是相同的。对于10 is数据，测量结果甚至小于10 is。TaskManager是否是测量内存使用情况的错误过程？Flink进程模型的<
浏览 5提问于2016-02-10得票数 3
回答已采纳
我在flink中有一个地图，一旦数据通过流，它就会被激活。 即使没有数据通过，我也要调用该地图。 我将map移动到一个函数中(无限函数调用)，但是flink作业永远不会运行。这个想法是，在一个无限循环中有一个映射，检查一些共享变量，另一个flink流监控kafka队列，如果数据进入它的进程，它会改变一个共享变量，以某种方式影响无限循环并继续。如何调用无限循环映射并同时运行flink映射？我尝试使用随机数据创建一个CollectionM
浏览 28提问于2019-05-07得票数 1
我正在使用Flink + Kafka来处理流文档。我已经在文档上设置了过滤器来阻止奇怪的文档进入Flink作业，但是仍然有一些类型的文档是我无法预见的。如果作业消耗了这些文档，则需要额外的时间。就像我在任务检查点中看到的那样，许多进程完成得很快，等待缓慢的进程完成(例如，在下面的图像中，除了一个)。我的问题是:我能让Flink在某些阈值之后放弃这
浏览 3提问于2022-06-08得票数 0
回答已采纳
1回答
我正在尝试使用Flink 2.1.0从mysql日志表中读取流数据，但是，它只读取一次，然后它将停止该过程。我希望它继续读取，如果有传入的数据，并打印它。以下是我的代码 source.print().setParallelism(1);
env.execute("Error Log Dat
浏览 72提问于2017-02-22得票数 2
假设我在一个键控过程之后得到了一个流。DataStream<T> stream= sourceStream.keyBy(key).window(window).apply(function);
结果流是否仍然是键控的？我能在那个流中使用一些关键的状态吗？
浏览 3提问于2021-03-21得票数 2
回答已采纳
1回答
将保存点添加到数据流
、、、
我有一个kafka源，我的flink应用程序从它读取数据并处理它，我想添加flink的savepoint机制，以便从它离开的最后一个地方恢复进程，而不是将savepoint添加到kafka源，我希望我的应用程序保持最后处理的流的状态，这样它就不会重新处理由我的应用程序部分处理的数据。我已经向kafka源文件添加了存储点，以恢复kafka流，但我想恢复已处理
浏览 2提问于2019-01-17得票数 0
1回答
如果我是对的，这种机制在某些情况下可能会使用越来越多的记忆。表示有两个数据源：Source 1和Source 2，以及一个运算符。Source 1 -----\Source 2 -----/操作符这样做:它需要两个来自Source
浏览 0提问于2020-06-11得票数 0
回答已采纳
我想在flink中共享map函数中的列表。如何在flink进程之间共享变量
要求我有静态数据记录(少于1000条记录)。我想用数据流加入这些记录。
浏览 3提问于2022-06-16得票数 0
我有一个用例，其中apache flink进程必须集成来自多个源的近乎实时的数据流(事件)，但由于不同系统中缺乏统一的键，我需要使用现有数据库中的代理键(SK)查找。缓存这样的数据集用于流中转换(映射)而不使用DB查找是否可能/可取？如果是，缓存的限制是什么？如果不是，Flink有哪些替代方案？
浏览 2提问于2019-12-10得票数 1
1回答
FlinkCEP的执行时间
、、、、
我使用Flink和FlinkCEP来检测数据流上的复杂事件。出于研究目的，我只需要测量识别时间。 我正在使用Flink / FlinkCEP - 1.7.1。我使用env.fromCollection()函数在Flink环境中创建流。在此之后，我将使用FlinkCEP：CEP.pattern(....)以及其他select和print函数。我只找到了这篇文章：Measure job execution time in <em
浏览 26提问于2019-09-04得票数 1
在Flink-作业目前，我有两个流，一个主要数据流每分钟更新一次从卡夫卡主题，另一个流(广播流)，这是用于KeyedBroadcastProcessFunction的进程元素功能的一些计算与主流数据。现在，我有一个新的要求，增加一个流，这是完全不同的结构与其他两个流。
1)如何通过必须在Flink状态下可用的第三流，以便与主数据
浏览 5提问于2020-06-03得票数 0
回答已采纳
我有几个需要基于时间戳同步多个流的用例。Flink的窗口连接函数，但显然这现在需要一个窗口函数，然后我可以执行一个apply方法。我想要的就是在同一个时间窗口同步这些流。我怀疑这不是join方法的目的。
我有一个使用Flink流连接方法的工作实现。我将它应用于交易条流和原始报价流，但这需要我自己编写一个相当混乱的CoProces
浏览 0提问于2018-04-27得票数 0
我正在使用flink程序将我从kafka获得的流数据写入Azure data Lake。当我使用同步来获取ADLOutputStream、写入和关闭时，它工作得很好，但是性能非常差，因为只有一个线程在写数据lake.When我使用多个线程而没有同步它抛出了http 400非法参数异常。
浏览 3提问于2017-05-09得票数 1
我是Apache flink的新手，我有一个数据流，它实现了一个进程函数，如果满足某些条件，那么数据流是有效的，如果它不满足条件，我会将其写入sideoutput。我可以打印数据流是否可以检查数据流是否为空。我尝试使用datastream.equals(null)方法，但不是working.Please建议如何知道数据流是否为空
浏览 82提问于2020-05-19得票数 0
有人能帮助或指导我哪种语言(Python、JAVA、C#)更适合使用Flink进行进程流。哪种语言有更多的支持，或者谁的apis更成熟。任何人都请帮忙。
浏览 3提问于2020-11-10得票数 1
回答已采纳
1回答
闪存程序的执行必须被触发，例如使用execute()。否则Flink只会创建一个新的执行计划，对吗？我的问题是:在不触发执行的情况下处理延迟操作时，Flink的哪些组件被激活？根据，有一个优化器负责构建数据流图。是否有更多的过程涉及？
是否有一种方法可以找到优化程序进程的id以便监视它？
浏览 2提问于2015-12-22得票数 1
回答已采纳
据我所知，处理Kafka流的状态在内存、磁盘或Kafka主题中都是本地的，因为所有的输入数据都来自一个分区，其中所有的消息都是由一个定义的值键控的。大多数情况下，计算可以在不知道其他处理器的状态的情况下完成。如果是这样的话，您有另一个Streams实例来计算结果。如图所示：Flink到底在哪里存储它的状态？Flink是否也可以在本地存储状态，或者总是将它们发布到所有实例(任务)？是否可以将Flin
浏览 0提问于2019-02-10得票数 3
1回答
我正在学习如何使用Flink处理流数据。现在我在考虑如何处理Flink中的OOM例外。例如，如果存在背压问题，这意味着如果从数据源发送数据的速度比Flink的操作符中处理数据的速度快，我的理解是，RAM将在一段时间内耗尽。如果这个案子发生了呢？如何处理这种异常？是否有可能忽略某些输入，从而使进程不会
浏览 4提问于2020-06-08得票数 0
回答已采纳
1回答
我读到了，Google管道运行程序，以及运行在Flink上的。目前还不清楚Cloudera是否同时实现了批处理流和窗口流，其中一篇文章拒绝，但其他帖子似乎没有提及，好像它已经包括在内，而Data明确表示Flink正在进行流媒体支持。是否有来自Google或其他Dataflow维护人员的页面，其中列出了所有现有的备用管道运行程序？与此不同的是，有人愿意维护一个规范的实现项目列表吗？似乎并不急于引入非谷歌的实现，这可能是因为这使得外部存储
浏览 2提问于2015-09-15得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
