如果我按照下面的方式使用允许的延迟进行窗口操作： Window.AfterPane.elementCountAtLeast(1)))
.withAllowedLateness(Duration.standardMinutes(5)) 这将提供给一个组合函数，然后使用SpannerIO将结果写入数据库如果新项目在窗口结束后立即到达，将导致延迟激发。我的理解是combine函数和DB write将作为这两个触发器的
浏览 8提问于2021-10-07得票数 0
回答已采纳
我试图用默认触发器实现默认窗口，以评估行为，但它不会产生任何结果。据阿帕奇·梁说：
-- PCollection的默认触发器是基于事件时间的，当波束的水印通过窗口的末端时，会发出窗口的结果，然后每次延迟数据到达时都会触发。--如果您同时使用默认窗口配置和默认触发器，则默认触发器只发出一次，而延迟</e
浏览 1提问于2019-10-09得票数 1
回答已采纳
1回答
我一直在阅读Dataflow SDK文档，试图找出当数据在流作业中超过水印时会发生什么。本页：
注意:数据流的默认窗口和触发策略会丢弃后期数据。如果要确保管道处理延迟数据的实例，则需要在设置PCollection的窗
浏览 3提问于2016-05-16得票数 5
回答已采纳
根据Apache Beam文档
-- AfterWatermark触发器在事件时操作。AfterWatermark触发器根据附加到数据元素的时间戳，在水印通过窗口结束后发出窗口的内容。水印是一个全局进度度量，是Beam在任意给定点的管道内输入完整性的概念。只有当水印通过窗口结束时，AfterWatermark才会触发。PCollection的默认触发器<
浏览 2提问于2019-09-20得票数 1
回答已采纳
1回答
根据文档，如果没有显式指定触发器，则会得到如下描述的行为：
如果未指定，默认行为是在水印通过窗口结束时首先触发，然后每次有延迟到达数据时再次触发。对于FixedWindow来说，这种行为也是正确的吗？例如，您将假设固定窗口应该在水印通过窗口结束后具有重复触发的默认触发器，并且除非显式处理延迟数据，否则丢弃所有延迟数据<
浏览 1提问于2019-01-11得票数 1
回答已采纳
但是，当我在Google上运行它时，有时它会在60秒窗口内触发不止一次。我猜这与延迟和无序信息有关。
浏览 2提问于2019-07-30得票数 0
我有一个主题+订阅，并希望在中使用和聚合来自订阅的无界数据。我使用一个固定窗口并将聚合写入BigQuery。public static class Add
浏览 9提问于2017-01-03得票数 1
在处理我的输入时，我想在output JSON中添加一个新字段，该字段的值应该自动递增。Input列表{"name": "Akbar", "age": 20}添加序列号后期望的输出
浏览 1提问于2020-04-20得票数 0
我正在创建一个管道，它包含无界数据源并进行聚合计算。计算是在基于事件时间的10分钟窗口中完成的，对于迟到的事件则在5分钟缓冲区内完成。我希望在经过10分钟窗口和5分钟缓冲区后，只发出一次聚合结果。我不知道如何使窗口只发出一次结果。我相信正确的方法是使用AfterWatermark触发器，但是如果我使用的是withLateFirings()，结果将在窗口通过后和<e
浏览 0提问于2019-07-25得票数 0
回答已采纳
我有一个从pubsub订阅读取的流式数据流，没有应用窗口。管道的第一步是读取pubsub订阅。在将消息发送到下一步之前，数据流如何决定它应该在第一步中累积多少消息，并在pubsub上继续读取更多传入消息？
浏览 0提问于2020-09-28得票数 0
1回答
当每个客户发送这些数据时，我们无法控制，很可能是实时的，但我们无法保证。我们将所有事件存储在RabbitMQ/Kafka中。更新:我们可以假设每个传感器的事件都是有序的。在开始实现可能的流管道之前，我们对以下挑战的解决方案感兴趣：
我们把所有原始传感器数据存储到卡桑德拉。此外，我们希望通过sensor_id在多个时间窗口<
浏览 4提问于2016-11-07得票数 4
我的用例是在固定的每小时窗口中处理数据的无界流式管道。但是，我需要知道前一个窗口的数据。有没有办法将数据存储在内存中某处的ArrayList中，或者我必须将其写入某个db中？我试图避免滑动窗口，因为只有一部分处理需要来自前一个窗口的数据，并
浏览 3提问于2017-11-24得票数 0
我有一个生成N个项目的UnboundedSource (它不是批处理模式，它是一个流--它只生成一定数量的项目，然后停止发出新的项目，但仍然是一个流)。SomeTransform())我假设这意味着将在5秒内生成新事件，然后对5秒窗口中的数据应用相反，首先生成所有N个事件，然后才将SomeTransform应用于数据(但窗口</e
浏览 0提问于2021-01-14得票数 0
3回答
我在Flink中做实时流，其中Kafka是消息队列。我正在申请120秒的EventTimeSlidingWindow。滑动1秒。我还在事件时间的每一秒插入水印。我担心的是，如果元素会在水印之后延迟出现，会发生什么？现在在我的情况下，Flink简单地丢弃了它各自的水印之后的消息。filnk是否提供了任何机制来处理这种延迟消息，比如维护单独的
浏览 19提问于2017-01-19得票数 3
回答已采纳
1回答
假设我有一个数据流，其中包含事件时数据。我希望在8毫秒的窗口时间内收集输入数据流，并减少每个窗口数据。timeWindow(Time.milliseconds(8))Point数据流的关键是处理时间的时间戳映射到处理</
浏览 2提问于2018-07-14得票数 1
回答已采纳
2回答
我怎么能让扳机等着呢？
、、、、
我有一个问题，我无法解决，我有一个销售点，在销售后插入3个表，标题表，细节和客户(按这个顺序)。我有一个存储过程，它在bak表中插入最后一条记录，在"text“列中插入三个表的级联(这是基本的)，同时我有一个put方法，该方法收集单个行中的所有细节和相应的标题(每个标题只有一行)，在插入过程后执行它时正常工作，但是在使用触发器执行该过程时，会出现一个错误，即不能在&quo
浏览 2提问于2018-06-06得票数 1
如果元素到达时违反了水印条件，如何处理该事件？它被扔掉了吗？或者，该事件是否仍然向下游传播，并使用后期事件重新计算过去的窗口函数？
文档承认会发生延迟事件，但没有解释如何处理它们。
浏览 4提问于2016-06-16得票数 3
在Beam文档中，建议在withProcessingTime上使用withLogAppendTime。为什么会是这样呢？
浏览 4提问于2018-12-11得票数 2
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
