闪烁AggregateFunction累加器慢速

文章/答案/技术大牛

发布

1回答

aggregate、apache-flink

，例如.timewidow() class AggCountNew() extends AggregateFunction

浏览 12提问于2020-02-29得票数 0

1回答

AggregateFunction如何影响Flink中的状态大小？

apache-flink、complex-event-processing

在Flink中，如果在窗口上应用FoldFunction或ReduceFunction，则对于也是如此，因为它似乎也允许您热切地聚合和存储元素。

浏览 0提问于2017-11-02得票数 1

回答已采纳

1回答

在1.4版本的Apache Flink DataStream上是否有与之等效的foldLeft运算符

apache-flink、flink-streaming、flink-cep

我有一个这样的流设置，使用Apache Flink1.4，首先是DataStream，然后是keyBy，然后是window，最后是aggregate接下来我想做的是一个scala foldLeft的等价物。有没有提供这种功能的操作员。

浏览 2提问于2017-12-23得票数 2

2回答

Flink:如何将不受欢迎的折叠转换为农业？

scala、aggregate、apache-flink、fold、flink-streaming

我使用的Flink版本是1.3.2，这个版本的文档没有AggregateFunction，但是在工件中还没有版本1.4。

浏览 3提问于2017-11-05得票数 7

回答已采纳

1回答

Flink的聚合函数的getResult()可以改变累加器的值吗？

apache-flink、flink-streaming

getResult()函数可以更改累加器的值吗?它在累积时仍然会产生效果值。守则如下： public class WeightedAverage implements AggregateFunction<Datum, AverageAccumulator, Double> {

浏览 3提问于2022-04-24得票数 0

1回答

AggregateFunction与SessionWindow -理解合并是如何工作的

java、apache-flink、flink-streaming

当使用AggregateFunction在Flink中实现EventTimeSessionWindows时，我无法理解在动态间隙的SessionWindow情况下何时发生合并。zeus-aggregator-parallelism"))我在聚合器中定义了四个函数： createAccumulator：--这将创建一个新的累加器add：，这将继续在1分钟触发时间内将所有新事件添加到累加器中。我正在试图理解合并是否每分钟发生与触发器

浏览 3提问于2022-02-27得票数 0

1回答

OpenCV持久目标跟踪与滞后策略

image-processing、opencv

我如何确保对象不会在存在或消失的情况下闪烁？我需要给物体一个最短的生命周期。如果一个对象消失在一个框架中，并使用新的ID重新出现在下一个帧的同一个位置，这也是不想要的闪烁。(到目前为止，我的想法)我考虑过使用对象掩码累加器作为实例化的基础。我设想一幅灰度图像，在每帧累加器中，对象的候选区域会被增强，然后一旦对象区域超过阈值，它就被实例化，我们调用addObject(id, pos)方法。现在，问题是，一个对象可以在累加器中的阈值附近徘徊，并且仍然可以显示闪烁的行为。因此，当对象区域被实例

浏览 1提问于2011-10-06得票数 1

回答已采纳

1回答

Flink检查点不断失败

apache-flink、flink-streaming

我们使用aggregateFunction，所以不使用任何闪烁状态变量。通过采样，我们有不到20k个事件/秒，20 - 30个新会话/秒。我们的会话基本上收集了所有事件。会话累加器的大小将随着时间的推移而增加。我们总共使用了10G内存和Flink 1.9,128个容器。

浏览 58提问于2020-10-13得票数 3

回答已采纳

1回答

如何在Flink Java中在DataStream ()之后获取keyBy密钥

apache-flink、flink-streaming

问题是，在应用我的aggregateFunction (只计算clientId的点击次数)之后，我找不到获得每个输出记录的键的方法，因为api返回一个累积结果的实例，而不是相应的键。我没有在累加器中注入输入事件的键，因为我觉得自己不太好。

浏览 0提问于2019-07-08得票数 1

回答已采纳

1回答

滑动时间窗口的Flink性能问题

apache-flink

例如，我们有活动准时第二次1- 600.Flink可以得到每秒钟的累加器，所以我们每秒钟有600个累加器。当第一个滑动窗口过期时，flink只合并1到300的累加器，并销毁第二个1的累加器。当第二个滑动窗口过期时，flink只合并2-301的累加器，破坏第二个的累加器。支持flink吗？AverageAccumulator2() {

浏览 1提问于2018-08-23得票数 3

1回答