Flink:是否可以为检查点提供或分配时间戳？

文章/答案/技术大牛

发布

1回答

apache-flink、flink-streaming

Flink:是否可以为检查点文件夹提供或分配时间戳，例如将最后一个检查点的时间戳附加到使用作业id命名的文件夹？是否可以为每个作业的外部检查点提供自定义名称？如果是，是如何实现的？

浏览 5提问于2020-03-03得票数 0

1回答

来自Flink的不正确的窗口输出间隔

apache-flink、flink-streaming

我用Flink代替Kafka Streams API，因为Kafka流在内部创建了多个内部主题，这增加了开销。在给定的窗口(1小时)中保存记录。

浏览 1提问于2021-03-16得票数 0

2回答

Flink TimeStamp，在流中添加计算字段

java、apache-flink、flink-streaming

我有一个无序的流，我需要对它们进行排序，并在下一帧中用相同的字段对字段值求和。我的代码：DataStream<Message> messageswithTS = messages.assignTimestampsAndWatermarks(new TimeLagWaterMarkGenerator()); .keyBy(

浏览 2提问于2016-09-14得票数 0

1回答

从FlinkKafkaConsumer迁移到KafkaSource，没有执行窗口

apache-kafka、apache-flink、flink-streaming

反序列化和时间戳似乎运行良好。但是，没有执行窗口，因此不会产生任何结果。 ....尝试过的事情我尝试过尝试设置偏移量的设置，但它并没有改进situation.Setting时间戳的源代码

浏览 4提问于2021-10-29得票数 2

回答已采纳

2回答

在Flink中使用当前时间戳生成事件的最佳方法是什么？

java、apache-flink

我试图了解在为卡夫卡制作新唱片时，使用Flink实现当前时间戳的最佳方法是什么如果我真的想把当前的时间放在一个处理的事件中，我应该如何用Java实现它呢？我在kubernetes中运行flink，所以我不知道简单的current_time()调用是否是理想的方

浏览 4提问于2022-05-25得票数 0

回答已采纳

0回答

EventTime :使用包含在消息中的时间戳进行Flink窗口操作

apache-kafka、apache-flink、flink-streaming

我正在把来自Kafka streamer的消息带到Flink中。消息中包含Record_time字段，我希望根据Record_time应用时间窗口。我是否可以提取或使用Record_time字段为该消息分配时间戳？由于接口TimestampExtractor的所有方法都被弃用，有没有其他方法可以做到这一点？

浏览 7提问于2017-01-10得票数 0

2回答

我有一个作业，它有几个不同的状态，并将检查点配置为每5秒发生一次。现在，它以50个并行度运行，每个任务槽有1个cpu。为了快速测试，它只消耗了60k条记录，并且在几秒钟内就完成了。但我现在让作业运行了几个小时，因为我注意到，当它运行并继续获取检查点时，完成检查点的时间从4秒到20秒，以此类推，直到它达到超时。我在周末运行了同样的任务(这个任务的检查点超时时间是5分钟)。开始，基本上立即处理所有45k记录，检查点在5秒左右完成。然后注意到，每5个检查点

浏览 104提问于2021-08-16得票数 1

回答已采纳

2回答

apache flink窗口顺序

apache-flink、flink-streaming

使用Apache Flink，我想创建一个按存储在Kafka事件中的时间戳排序的流窗口。根据下面的文章，这是没有实现的。然而，这篇文章的日期是2015年7月，现在已经快一年了。是否实现了此功能，是否有人可以向我提供任何相关文档和/或示例。

浏览 4提问于2016-06-14得票数 2

1回答

如何在Flink流处理窗口中收集后期数据

apache-flink、stream-processing、windowing

我希望在8毫秒的窗口时间内收集输入数据流，并减少每个窗口数据。Time.milliseconds(8))Point数据流的关键是处理时间的时间戳映射到处理毫秒时间戳的最后但是，数据流可能到达较晚，并进入错误的窗口时间。例如，假设我将窗口时间设置为8毫秒。如果数据按顺序进入Flink

浏览 2提问于2018-07-14得票数 1

回答已采纳

1回答

如何连接两个流Flink表并保留时间戳信息

apache-flink、flink-streaming

我有两个(流)表，一个有事件时间列，另一个没有。我想使用Table加入这些程序，但是还没有想出一种同时保存时间戳信息的方法。{Table, TableEnvironment}import org.apache.flink.types.RowcheckTable(table1.join(table2, 'column1 === 'column2).select('column1, '

浏览 0提问于2018-08-15得票数 1

回答已采纳

1回答

Flink -在事件时间创建TumblingEventTimeWindows

apache-flink

我试图从卡夫卡为事件时间创建TumblingEventTimeWindows，在那里每隔1分钟就会有记录。与每一分钟的粒度不同，我想在一段时间内以相同的方式进行取样，我正在尝试以下步骤：有人能帮我弄清楚我错过了什么吗？提前谢谢。

浏览 2提问于2022-07-12得票数 0

回答已采纳

1回答

在一组~10000唯一标识的数据中复制不可靠网络中的更改

algorithm、replication、librsync

Alice和Bob有两组~10000个数据(每个数据小于65536字节，通常要小得多)，每个数据都有一个12字节的ID (时间戳+ CRC32)。他们两个人都想把这些组合结合起来。它们的集合差别很小:也许Alice或Bob获得了10块新数据，所以他们最好确定哪些数据应该相互发送，并且只发送它们。

浏览 2提问于2017-09-02得票数 0

1回答

是否有必要在Flink中使用windows？

scala、apache-flink、flink-streaming

我试图转换数据流，而不使用Flink提供的任何窗口。另一个正在运行的Flink作业已经使用了相同的数据源，因此数据源很好。任何地方都没有错误，但仍然没有输出。这个问题可能是，因为我没有使用任何窗口或键操作？在分配升序时间戳后，我试图获得输出，但没有得到任何输出。知道什么不可能起作用吗？

浏览 0提问于2019-04-03得票数 2

回答已采纳

1回答

由简单事件生成的复杂事件的建模时间

apache-flink

我的flink应用程序根据(简单)输入事件的处理来生成输出(复杂)事件。生成的输出事件将由其他外部服务使用。我的应用程序使用事件时语义工作，所以我对应该使用什么作为输出事件的时间戳有点怀疑。我是否应该使用：对于我的用例，我现在使用这两种方法。但是，也许您可以为每个给定的选项提供示例/理由。

浏览 4提问于2020-04-19得票数 0

回答已采纳

1回答

Flink中索引元素的自然方式

indexing、apache-flink、flink-streaming

是否有内置的方法来索引和访问DataStream/DataSet集合中各个元素的索引？更具体地说，当joining数据集/数据集时，是否有一种“自然”的/easy方法来连接(首先创建)、第二个创建的元素，等等？当然，在流创建时，我可<em

浏览 0提问于2019-09-13得票数 0

1回答

有没有可能让不同的密钥有独立的水印？

apache-flink

我正在使用Flink 1.12并且我有一个键控流，在我的代码中看起来A和B共享相同的水印？30 10:50:11，所以B被确定为延迟输出为A(2020-08-30 10:50:08, 2020-08-30 10:50:16):2020-08-30 10:50:15，没有B的输出我想问，是否有可能使不同的密钥具有独立的水印import org.apache.flink.streaming.api.functions.AssignerWithPunctuatedWatermarks import org.apache.flink</

浏览 12提问于2021-05-02得票数 0

回答已采纳

3回答

如何避免在打开多个窗口时多次写入相同的cookie

javascript、cookies

我想到的一个解决方案是，当将消息保存到cookie中时，检查cookie中的最后一条消息是否与正在保存的消息相同，如果它们相同，就不要再次保存它。

浏览 5提问于2016-01-09得票数 0

回答已采纳

1回答

基于窗口的规则在Apache Flink广播流中的应用

java、apache-flink、flink-streaming、flink-cep、flink-sql

我在Apache Flink的BroadcastStream中有一组规则。当新规则应用到我的事件流中时，我能够应用新规则。in a window of 5 mins我是flink

浏览 1提问于2019-11-07得票数 0

1回答

为两个输入流分配时间戳和水印，稍后连接为使用“EventTime”进行动态警报

java、scala、apache-flink

我有一个Flink程序，它接受两个流，即数据/传感器读数流和警报规则流。我正在广播规则流，并将其连接到数据流以生成动态警报。我已将时间戳&水印分配给数据流，并按原样传递规则流(因为只有在看到新的附加规则/更新时，规则流才会有记录)。但是没有产生警报。当两个流，即一个具有时间戳和水印的流和一个有规则的流(广播)按照规则动态连接和处理时，如何使用'EventTime‘来生成警报。我是否也需要为我的规则流分配<em

浏览 0提问于2019-08-21得票数 2

回答已采纳

1回答

在这种情况下，noda时间适用吗？

c#、datetime、time、timezone、nodatime

它仍然有效，但是维护、稳定性和可伸缩性是我们面临的真正问题。项目领导团队最近同意，我们需要开始开发下一代产品，我们的目标是.NET，因为该产品完全是基于Windows桌面的产品。考虑到我们的用户经常分析世界各地收集的日志文件，消息时间戳是非常重要的。当前的产品使用_ftime_s()来分配时间戳，我曾经假设我们将使用System.DateTime.UtcNow来在未来的.NET端获取时间戳。也就是说，直到我读到关于的文章。现在，我认为我们的问题域需要更

浏览 2提问于2012-10-15得票数 7

回答已采纳

点击加载更多