累计延迟数据，5分钟后触发

文章/答案/技术大牛

发布

1回答

google-cloud-dataflow、apache-beam

我有一个Google数据流作业，它从PubSub读取数据，聚合数据，最后将数据发送到InflluxDB。我想要实现的是聚合数据在窗口中的1分钟，但只有一个条目在数据库中为每分钟。问题是我想要允许延迟数据，所以我需要在5分钟内累积数据，然后向数据库发送一个唯一的条目。input.apply(Window .

浏览 7提问于2019-07-23得票数 1

1回答

Apache梁:固定窗口的触发器

google-cloud-dataflow、apache-beam

根据文档，如果没有显式指定触发器，则会得到如下描述的行为：如果未指定，默认行为是在水印通过窗口结束时首先触发，然后每次有延迟到达数据时再次触发。例如，您将假设固定窗口应该在水印通过窗口结束后具有重复触发的默认触发器，并且除非显式处理延迟数据，否则丢弃所有延迟数据。此外，在源代码中，我可以看到触发器的定义，例如FixedWindow对象吗？

浏览 1提问于2019-01-11得票数 1

回答已采纳

1回答

如果我按照下面的方式使用允许的延迟进行窗口操作： Window.AfterPane.elementCountAtLeast(1))) .withAllowedLateness(Duration.standardMinutes(5)) 这将提供给一个组合函数，然后使用SpannerIO将结果写入数据库如果新项目在窗口结束后立即到达，将导致延迟激发。我的理解是combine函数和DB write将作为这两个触发器的结果运行。是否可以保证在处理完窗口触发的数据<

浏览 8提问于2021-10-07得票数 0

回答已采纳

1回答

Apache Beam中的后水印触发器和默认触发器有什么区别？

google-cloud-platform、triggers、google-cloud-dataflow、apache-beam

根据Apache Beam文档PCollection的默认触发器是基于事件时间的，当波束的水印通过窗口的末端时，会发出窗口的结果，然后每次延迟数据到达时都会触发。但是，如果同时使用默认窗口配置和默认触发</e

浏览 2提问于2019-09-20得票数 1

回答已采纳

1回答

数据流是否支持自定义触发器或更新触发器延迟？

google-cloud-dataflow

TL:DR；是否可以创建一个只在设置了某个标志的情况下才触发的自定义触发器？在我们知道正在发生大型数据事件时，是否可以使用带有大延迟的触发器来部署作业，然后在事件结束后使用具有正常或无延迟的触发器向作业部署更新？以下来自：当我们对旧数据进行回填时，这种情况是最有问题的(数以百万计的重复触发)。考虑到我们知道什么时候发生了这种情况，我想知道我们是否可以实现一个自定义触发器，在设置标志时不会触

浏览 3提问于2016-07-21得票数 4

回答已采纳

1回答

在插入oracle之后延迟触发器调用

oracle、plsql、triggers

我发现还有，添加到触发器代码的开头，但它会阻止插入本身的发生。我想插入数据，但触发器应该只在任意延迟后触发。谢谢。

浏览 3提问于2010-07-23得票数 3

回答已采纳

3回答

数据流滑动窗口与带有触发器的全球窗口？

google-cloud-dataflow、apache-beam、dataflow

我使用来处理数据，并决定是否应该发送消息。我在下面有几个选择：我觉得滑动窗在这里可能有用。但我的问题是，是否可以基于使用基于处理时间的触发器和延迟的全局窗口来解决这个问题？就我所理解的基于Apache文档的触发器而言，=>触发器允许Beam在关闭给定窗口之前发出早期结果。例如，在一定时间过去后发出，或在一定数量的元素到达之后发出。触发</

浏览 2提问于2019-02-01得票数 2

2回答

如果达到了数据库的最大限制，那么sql异常错误号是多少？

sql、sql-server、sqlexception、sql-server-2005-express

例如，SQLServer2005Express的数据库大小限制为4gb，并在累计插入数据后达到。相应的错误号是多少？

浏览 8提问于2015-03-21得票数 1

回答已采纳

1回答

在MS Access中删除链接表中的记录

sql-server、ms-access、delete

我有一个Microsoft数据库，它链接到Server 2000后端。它有一个带有几个子表单的表单，它们都使用来自链接表的信息。60秒后，它正常进行，没有延误。我还没有找到任何关于挂起的模式，它似乎是随机发生的，大约有一半的时间。唯一的模式是延迟总是相同的长度。延迟发生在删除事件之间和删除确认事件之前。表中有一个触发器，该触发器记录记录何时删除的时间戳以及有关字段值的其他一些信息。删除记录时，时间戳与我最初单击delete (在60秒后确认对话框中的delete之前)

浏览 0提问于2013-12-09得票数 0

1回答

认证失败超过 20 次提示冻结 3600s 怎么办？

CODING DevOps

认证失败超过 20 次提示冻结 3600s 怎么办？

浏览 316提问于2022-12-05

1回答

如何周期性触发window？

google-cloud-dataflow

我希望每隔M分钟处理最后N小时的数据。数据通过pubsub有各种延迟，但我不想因为时间偏差或数据延迟而延迟窗口触发。也就是说，我只想处理触发时可用的数据，并希望基于墙时间触发(但每个窗口应包含基于数据事件时间的[触发时间-M小时，触发时间)之间的数据。)我正在尝试使用SlidingWindows，但触发是基于事件时间的，并且似乎

浏览 1提问于2016-11-08得票数 2

1回答

如何正确防止插入后触发器的延迟，这些触发器试图将数据插入到无法访问的外部表中

postgresql、triggers、foreign-data-wrapper

让我们称它为foo，我有一个AFTER INSERT触发器，它执行一个函数，将该行插入到配置好的远程服务器上的外部表。可以在执行“后插入”之前将查询执行返回到客户端，因此它不会阻止用户执行其他插入--系统可以检查此服务器的有效性吗?因此，我不希望“后插入”将行延迟到实际插入到表中，也不希望任何与连接相关的问题导致任何延迟。我将创建一个示例代码，以便您了解我在做什么。假设福是我

浏览 0提问于2019-10-30得票数 1

回答已采纳

1回答

延迟后触发事件

sql、sql-server、triggers

Server中有一个表"TClaim“，结构如下：示例：我想设置一个事件，该事件在从申请之日起延迟15天后触发，而不处理用户的申请(如果被处理，"state“列的值将更改为”已处理“)。

浏览 0提问于2013-12-22得票数 0

2回答

延迟后触发操作

c#、async-await、xamarin.forms

我不想触发每一个按键，我想忽略一些1000毫秒以下的按键。我该怎么做呢？我发现了一些使用Task.Delay()的示例，但是没有像预期的那样工作。

浏览 0提问于2016-08-21得票数 0

1回答

Quatrz可伸缩性-每秒有大量触发器失败

quartz-scheduler

我们不能每秒钟触发30多个触发器。石英在每秒30次触发后开始延迟或挂起。100 org.quartz.threadPool.threadCount = 100 org.quartz.scheduler.idleWaitTime=15000 我们需要提高到每秒至少100个触发器我们使用Postgres作为数据库。

浏览 2提问于2013-07-01得票数 1

1回答

检查鼠标在WPF上的位置，控制延迟后的拖放

c#、wpf、treeview

作为其中的一部分，我需要扩展当前悬停在节点上的节点，如果鼠标已经在节点上运行了一段时间，一旦触发了DragOver事件。我在触发的节点上使用DelayedAction成功地延迟了扩展，但是一旦延迟的操作触发，我就无法成功地检查鼠标的当前位置。目前，即使鼠标已移出节点并释放点击，延迟后，节点仍将展开。我需要能够检查鼠标的当前位置后的延迟，并只有展开节点，如果鼠标还在节点上。

浏览 2提问于2014-03-11得票数 0

回答已采纳

1回答

在获取gps坐标之前停止数据加载

android、gps、android-loadermanager

像一样加载我的数据。如何在获取GPS坐标之前延迟加载数据？或者以另一种方式，我如何在获取坐标后触发数据加载？

浏览 2提问于2013-09-02得票数 1

2回答

如何延迟redux操作来存储数据更新？

javascript、reactjs、react-redux、redux-form、redux-saga

不能延迟操作触发(从redux-form初始化)以存储获取后的数据更新。 prepareData

浏览 0提问于2019-08-24得票数 0

1回答

在apache波束流式传输中以固定间隔触发

google-cloud-platform、spark-streaming、google-cloud-dataflow、apache-beam、apache-beam-io

现在我希望每个窗口的结果在窗口开始10分钟后触发一次，即window_1在0+ 10 -> 10分钟，window_2在11分钟(1 + 10)。注意:我将固定窗口配置为允许延迟> 10分钟，这样即使延迟，元素也不会被丢弃有没有一种方法可以实现固定窗口的这种触发。我不能将所有元素分配给一个全局窗口，然后每分钟重复触发一次，因为如果我的集合中有2个元素，根据事件时间戳属于window_1和window_2，但是延迟了3和3.2分钟，那么它将丢失所有元素的窗口

浏览 0提问于2018-05-11得票数 0

3回答

我应该在一个表中计算或存储这些累积和吗？

database-design

我需要能够从Server和Sybase数据库访问这种格式的数据(date, product是关键)。monthlyCumulativeprofit, yearlyCumulativeProfitdate, product, dailyProfit 哪些将接收插入、更新、删除和使用某种机制(触发</em

浏览 0提问于2012-06-08得票数 2

回答已采纳

点击加载更多