1回答
目前我正在通过我的<code>D1</code>s中的<code>D0</code>清除我的运算符的状态。我想巩固这种状态清除机制，并以原子的方式清除不同运算符的状态，因为清除状态的逻辑不仅对于不同的运算符非
浏览 19提问于2020-11-15得票数 0
在阅读了flink文档(以下相关部分)之后，我仍然不完全理解原子性和密钥分布。例如，考虑一个由keyby->平面映射(包含映射状态)组成的图，并将并行性设置为具有4个任务槽的1，flink是否确保每个键在分布式环境中只存在一次(在一个任务槽中)，它是原子单元吗？您可以将键控状态视为已分区或分块的运算符状态，每个键只使用一个状态分区。每个键状态在逻辑上都绑定到<paral
浏览 4提问于2017-08-17得票数 1
回答已采纳
1回答
这是一个关于flink流的两个问题，基于我自己做的实验，我需要一些澄清。问题如下：
假设我们在加窗的流上使用apply函数(做一些计算)，然后该流将创建一个DataStream。如果我们对结果的DataStream进行一些转换，fl
浏览 1提问于2017-03-13得票数 0
回答已采纳
使用来自Kafka主题的数据，Flink和SparkStreaming都提供了检查点机制，前提是auto.commit.enabled设置为false。火花博士说：
在启用了Flink的检查点之后，Flink Kafka消费者将使用来自某个主题的记录，并定期检查其所有Kafka偏移量，以及其他操作
浏览 6提问于2017-12-12得票数 1
2回答
当我想到按某个键的动作时，我通常会想到把所有与钥匙匹配的事件都扔到同一个桶里的类比。正如您可以想象的那样，当Flink应用程序开始处理大量数据时，您所选择的键开始变得重要，因为您希望确保您能够很好地清理状态。这就引出了我的问题，Flink到底是如何清理这些“水桶”的？如果存储桶是空的(所有的MapStates和ValueStates都是空的)，Flink是否关闭密
浏览 1提问于2020-04-29得票数 1
回答已采纳
当批处理作业完成时，ApplicationCluster状态应该是什么？“增加restartNonce”是一种重新运行工作的设计方式吗？我试图使用flink操作符来部署flink批处理作业，并每天在特定时间使用kubernetes Cron作业触发它。
浏览 19提问于2022-11-23得票数 0
回答已采纳
我需要从地图状态中删除旧键的能力，它比固定的时间长。目前，我将每个事件的时间戳保存在键状态映射中，并且我希望有一个不同步的过程，它将删除这些陈旧的键。我使用RocksDB作为状态后端，并且我不认为Java的RocksDB支持开放的TTL，正如注意到的。所以我的问题是：
这个案子有
浏览 14提问于2017-08-20得票数 2
我正在构建一个流解析器，它要求单个表的初始内存状态估计为50 GB。~50 GB是将状态加载到Scala HashMapString字符串中时所使用的内存数量。对于一个表，Flink是否能够处理具有~50 GB的状态，并且随着时间的推移而增长？备注：
I不能将类型更改为任何更小的类型。状态被用作查找
浏览 5提问于2019-10-28得票数 2
回答已采纳
在Flink文档中的任何地方，我都看到状态是映射函数和工作人员的独立状态。在独立的方法中，这似乎是强大的，但是如果Flink在集群中运行呢？Flink能否处理所有工作人员都可以添加数据并查询数据的全局状态？
为了在此设置中实现高吞吐量和低延迟，必须尽量减少任务之间的网络通信。在Flink中，
浏览 0提问于2018-01-31得票数 5
在Flink作业中，我有一个类型为ValueState<Boolean>的状态。当condition为true时，此状态设置为true，否则清除。我正在清除状态，而不是将其设置为false以减小状态的大小。
我希望将未初始化状态视为"set to true“状态，但不将状态设置为"true”。有没有办法区分未初始化状态</e
浏览 25提问于2021-05-30得票数 0
1回答
在我的例子中，我只使用Flink的可查询状态。特别是，我不关心检查点。 在发生事件时，我仅在最多X分钟后查询可查询状态。理想情况下，我会删除“旧”状态以节省空间。这就是为什么我想知道:我可以发信号通知Flink的状态在一段时间后自动清除吗？通过配置？通过特定的事件信号？多么?
浏览 20提问于2019-01-23得票数 1
o.order_time BETWEEN s.ship_time - INTERVAL '4' HOUR AND s.ship_time如果o.order_time和s.ship_time是正常的时间列，而不是事件时间属性，那么所有的状态都会保存在Flink中，就像普通的规则内部连接那样？这样，也许大尺寸的状态就会保持在Flink中。
如果o.order_time和s.ship_time是事件时间属性，那么flink</em
浏览 0提问于2021-08-06得票数 0
回答已采纳
在engine事件模式中，有Every操作符，它指示当每个关键字限定的子表达式计算为true或false时，模式子表达式应该重新启动。，我们可以以不同的方式使用every操作符，例如： every ( A -> B ) A -> every B我想知道在Flink CEP中哪些模式是可能的？我想在F
浏览 0提问于2017-01-09得票数 0
回答已采纳
在阅读了一下之后，仍然不清楚传递给DataSet#mapPartitions或KeyedWindowedStream#process的输入是否是惰性集合。在对窗口场景进行了一些调试之后，现在似乎已经给出了答案，即输入是从映射到ArrayList的ListState读取的，但我想知道是否总是这样(或者是否取决于输入的大小)。
浏览 4提问于2018-08-01得票数 0
据我理解，Flink中的运算符有源运算符、变换运算符等。对于Flink中的运算符，我的理解是否正确？在操作符状态中，Flink是为每个作业/任务维护每个操作符的状态(map()、or ()等)还是维护一个完整作业/任务的状态？另外，如果我的作业提交了多个并行性，那么每个槽会有自己的状态吗？假
浏览 0提问于2019-07-22得票数 2
回答已采纳
1回答
; }怎样才能让flink知道这两个因素，从而自动删除这些条目呢？目前，我阅读了状态中的所有项目，清除了状态，然后添加了相关的项目，但是随着客户数量的增加和状态</e
浏览 4提问于2020-11-05得票数 0
回答已采纳
我们有一个flink作业，它包含一些IO资源，如tcp连接等。我们总是在所有操作符的close()方法中使用finally块来关闭连接并释放连接。但是我们发现，由于我们在服务器端发现了大量的CLOSE_WAIT状态，所以当故障转移时有发生时，连接并未被释放。我们猜测flink可能会使用某种中断方法来重新启动作业，这样代码就不会转到finally块。当flink执行故障切换时，释放资源的正确方式是什么？
浏览 40提问于2020-09-07得票数 0
1回答
我想对批处理数据执行Flink SQL。(S3中的CSV)例如，我的查询包括对两个表进行筛选和加入筛选的结果。我希望Flink不要以阻塞批处理的方式实现这两个表，然后通过join传递结果，而是使用流哈希连接操作符，就像datastream中的那样。
我怎样才能做
浏览 6提问于2022-04-02得票数 1
我正在处理一个简单的案例，我们将Stream 1( Position )与Stream 2 ( price )连接起来，并将最新的位置数据与价格数据联系起来。在一天结束时，基于另一个流数据(例如，日期更改流)，我需要清除状态。我该怎么做呢？基本上，我需要清除priceState和positionState。我不确定我们是否可以得到一个广播流来做到这一点？连接两个流的示例代码如下
static final class PositionPriceWrapperBuilder extends
浏览 0提问于2019-04-11得票数 1
6回答
原子性由系统调用来保证。是否有类似的方法从bash脚本中以原子的方式创建文件？
使用set -o noclobber。然后，您可以使用>操作符原子。Mkdir是原子
浏览 5提问于2012-12-11得票数 20
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
