1回答
在Apache Flink中使用允许的延迟有什么优势？例如:为什么不使用水印(乱序10个单位)而不是水印(乱序5个单位)+允许延迟(5个单位)？
浏览 16提问于2020-08-13得票数 0
1回答
看看，它说关于水印
实际上，由于设置了允许延迟，是否导致了窗口的延迟评估？那么，水印的使用和允许的延迟究竟有什么区别呢？什么时
浏览 4提问于2021-01-31得票数 2
回答已采纳
通过将事件时间后面的水印延迟到maxOutOfOrdeness值，允许流的元素按MaxOutOfOrderness值的大小排序。AllowedLateness：在此参数定义的更长时间内保持窗口状态。如果您只使用MaxOutOfOrderness，那么它将延迟窗口计算，但它可以处理无序事件。
浏览 5提问于2019-11-06得票数 4
回答已采纳
3回答
我还在事件时间的每一秒插入水印。
我担心的是，如果元素会在水印之后延迟出现，会发生什么？现在在我的情况下，Flink简单地丢弃了它各自的水印之后的消息。filnk是否提供了任何机制来处理这种延迟消息，比如维护单独的窗口？我也浏览了文档，但我没有弄清楚。
浏览 19提问于2017-01-19得票数 3
回答已采纳
假设所有事件都按时到达，并且不允许延迟，我如何仅在会话窗口结束时进行一些处理？即水印已经通过(lastEventInWindowTimestamp + inactivityGap)。
浏览 32提问于2020-02-14得票数 0
回答已采纳
1回答
如果数据按顺序进入Flink引擎，或者至少在延迟小于窗口时间(8毫秒)的情况下，这将是最好的情况。但是假设数据流事件时间(也就是数据流中的一个字段)已经到达，延迟时间为30毫秒。
浏览 2提问于2018-07-14得票数 1
回答已采纳
我知道，如果晚了并关闭了属于它的窗口，那么默认情况下，延迟事件将被删除。
我会问，如何以异常事件时间为基础的间隔连接？水印的确切行为/效果是什么？迟来的事件会下降吗？
浏览 3提问于2020-12-29得票数 1
回答已采纳
是否可以清除DataStream中的当前水印？示例输入长达一个月的水印，不允许延迟： { timestamp: '10/2018' }, { timestamp: '11/2018是否有一种方法可以在看到clearState消息时以编程方式重置水印状态？
浏览 3提问于2018-11-05得票数 0
回答已采纳
1回答
我很难理解水印和允许迟到的概念。当接收到<WM, 12:12>时，窗口运算符计算窗口，但它的状态尚未被清除。当接收到<WM, 12:14>时，清除状态(允许延迟12:10 +3分钟的窗口点火时间)。当接收到>= 12:15的水印时，状态被清除。
水印应该告诉人们，任何带有小于水印的事件时间戳的元素都将被删除。允许<
浏览 2提问于2019-05-09得票数 4
回答已采纳
我们使用具有10分钟间隔持续时间和默认触发的会话窗口(即，不允许提前触发和延迟)。这是一个合理的假设吗？在上述条件下，这是预期的行为吗？假设我
浏览 22提问于2017-01-19得票数 0
1回答
所以我想在我的水印落后时发出警报。
我想使用flink的作业管理器报告的指标。像这样的东西，但这不像我喜欢的那样工作。
浏览 20提问于2020-05-12得票数 0
回答已采纳
我正在使用事件时间和会话窗口来检测行程的结束(10分钟未接收到GPS坐标)，以及另外15分钟的允许延迟以等待延迟事件。然后，水印前进到最新接收的事件时间。假设这是为IMEI=100准备的。现在，如果我接收到IMEI的1到99的数据，这些数据的事件时间在这个水印之后，所有这些数据都将被认为是延迟的，不会被处理。换句话说，如果一个车辆的数据超前水印，那么来自所有其他车辆的数据将被认为是延迟的，因为水印是全局的。
考虑到我的问题，有没有一种
浏览 12提问于2018-09-05得票数 0
1回答
对于水印，我仍然有点困惑，即关于本文中的代码： .apply(Window.into(FixedWindows.ofDuration.standardMinutes(2)))它只是告诉引擎触发器在水印，但引擎如何知道水印？据我所知，这应该是某种时间<
浏览 0提问于2018-04-30得票数 0
回答已采纳
1回答
为了实现这一点，在Spark2.1中，我们引入了水印，它允许引擎自动跟踪数据中的当前事件时间，并尝试相应地清理旧状态。您可以通过指定事件时间列和预计数据在事件时间上的延迟的阈值来定义查询的水印。对于从时间T开始的特定窗口，引擎将保持状态并允许延迟数据更新状态直到(引擎看到的最大事件时间-延迟阈值> T)。换句话说，阈值内的延迟数据将被聚合，但晚于阈值的数据将开始被删除(有关确切的保证，请参阅本节后面的部分)。让我们用一个例子来理解这一点。我们可以
浏览 0提问于2018-08-03得票数 2
回答已采纳
我对此的理解是，如果有更多的球员，有两种选择：
我希望有以下选项:每个用户都是独立处理的，其会话窗口有自己的水印。我将把所有数据放入一个唯一的会话中，在会话结束后，该会话将根据事件时间戳进行排序)，并且在当前时间和我正在处理的窗口的最后一个时间戳(摄入)之间会存在差距(会话窗口根据结束会话的时间间隔来保证这一点)；我也不
浏览 0提问于2019-10-01得票数 0
回答已采纳
如果元素到达时违反了水印条件，如何处理该事件？它被扔掉了吗？或者，该事件是否仍然向下游传播，并使用后期事件重新计算过去的窗口函数？
文档承认会发生延迟事件，但没有解释如何处理它们。
浏览 4提问于2016-06-16得票数 3
我有一个结构流作业，从Kafka主题读取消息，然后保存到dbfs。代码如下： .format("kafka") \ .load() \def transform_func(df):
window_spec = window("event_timestamp", "7
浏览 4提问于2021-08-25得票数 0
我试图理解在Apache中Windows和FLink生成水印之间的依赖关系，下面的示例中有一个错误：
public static void main(String[] args) throws Exception另外，如果我收到一个事件A,12，然后生成一个水印(在10秒内)，那么我有C,2，在第一个窗口关闭之后，它是在窗口中被处理，还是会被忽略？
浏览 3提问于2021-11-12得票数 0
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
