如何在KSQL中只保留最新的窗口？

文章/答案/技术大牛

发布

1回答

ksqldb

我想监控过去30天内发生的事件的计数。所以我在KSQL中使用了跳跃窗口(大小为30天，提前了1天)，但它将为每个组项目生成总共30个窗口，我如何编写ksql脚本才能只保留最新的窗口？谢谢!

浏览 8提问于2019-01-17得票数 1

1回答

如何使用复合键从主题创建KSQL表？

apache-kafka、ksqldb

2018-10-27,Melbourne,222018-10-27,Sydney,24CREATE STREAM forecasts_csv ( \ city VARCHAR, \) WITH (kafka_topic='forecasts-csv', v

浏览 1提问于2018-10-25得票数 5

1回答

在相同的ROWKEY更新中，如何更新ksql表的行？

apache-kafka、ksqldb

我从table在ksql中创建了一个kafka topic。将一组数据推送到主题和表中。发布了一个查询并得到了响应。这是我第二次将相同的数据推到topic中，table再次加载。现在，当我查询时，响应是2行，而不是带有2种不同ROWTIME时间戳的1行。我认为，如果相同的ksql table进入并保留最新值，则key应该覆盖该值。但这是不可能的。我的理解正确吗？如何使table<

浏览 1提问于2019-04-05得票数 2

回答已采纳

1回答

在Kafka中，是否可以创建一个日志压缩主题，其中通过压缩保留最旧的值，用于分析目的？

apache-kafka、analytics、apache-kafka-streams、ksqldb

是否有可能在Kafka中创建一个日志压缩主题，其中通过压缩保留最旧的值(而不是新值)，用于分析目的？我有一个查询要创建，比如我正在寻找使用ksql / ksqldb /kstream的方法。我想到的最简单、最有效的方法是创建一个日志压缩的主题或ktable，它保留每个键的最早的值。我想知道压

浏览 10提问于2020-05-11得票数 0

1回答

Apache Kafka Stream / KSQL如何处理乱序/延迟消息？

apache-kafka、apache-kafka-streams、ksqldb

据我所知，kafka流通过保留窗口来处理延迟消息，例如，容忍延迟 .until(TimeUnit.DAYS.toMillis(1) /* keep for one day */) 但是我在中找不到相关的部件，还不支持？我可以通过kafka stream 做准确的统计吗，而不是给出最大容忍延迟(因为我不确定)？就像Apache Flink 一样，专门处理延迟消息

浏览 53提问于2018-03-09得票数 0

3回答

是否可以从kafka消息中获取消息键的最新值

apache-kafka、apache-kafka-streams、spring-kafka、confluent-platform、ksqldb

假设相同的消息键有不同的值。user123@xyz.com } userid: 1,userid: 1,在上面的例子中，我只需要用户更新的最新值，即“user789@XYZ.com”。我的kafka流应该只给我第三个值，而不是前两个值。

浏览 1提问于2020-04-01得票数 3

1回答

如何在使用窗口翻滚时从KSQL流中获取最后一个值

apache-kafka、ksqldb

如何在使用窗口翻滚时选择流中的最后一条记录？SELECT last(charge) AS lastChargeWINDOWTUMBLING (SIZE 1 MINUTES)除了last不是一个有效的KSQL函数。

浏览 1提问于2019-08-20得票数 0

1回答

ksql -根据最近1年( 365天)汇总数据

apache-kafka、ksqldb

我想建立sql查询有聚合在过去的1年完成。在本例中，窗口大小为过去365天。使用ksql可以做到这一点吗？pageviews GROUP BY regionid, regioncity ; 我的问题是:当我们指定“大小30秒”或“大小3600秒”时，它是从流的开始还是从最新开始启动窗口？

浏览 11提问于2020-01-07得票数 0

回答已采纳

1回答

KSQL表中怎么会有重复的in？

apache-kafka、confluent-platform、ksqldb

我在主题之外创建了一个流，并重新设置了它的键值，因为键为空。在这个新主题的基础上，我创建了一个表。我们的目标是拥有一个不断更新的对象表(这里是类别)。> postgres中的Categories表： CREATE TABLE categories ( category_namecharacter varying(15) NOT NULL,); KSQ

浏览 26提问于2019-09-12得票数 1

回答已采纳

2回答

KSQL跳跃窗口:仅访问最早的子窗口

apache-kafka、streaming、ksqldb

我使用如下所示的查询来跟踪特定字段的滚动总和：WINDOW HOPPING (SIZE 1 MINUTE, ADVANCE BY 10 SECONDS) \现在，对于每个输入滴答，它似乎返回了6个不同的聚合值，我猜这是在以下时间段：[start+30, start+60] seconds [start+40, start+60] seconds

浏览 1提问于2018-08-11得票数 1

1回答

KSQL为每个组选择一行，该行对应于具有最少的时间戳

ksqldb、ktable

在KSQL中，有一种row_number类型的函数，它可以与翻滚窗口结合使用，以便分组依据，并且只获得对应于所使用的分组中具有最少时间戳的事件。

浏览 10提问于2019-11-21得票数 2

1回答

如何在KSQL中对流进行重复数据删除？

apache-kafka、ksqldb

我有一个Kafka主题/流，有时会接收重复的事件。如何在KSQL中对流进行重复数据删除？

浏览 9提问于2019-09-12得票数 0

1回答

KSQL是在幕后发出远程请求，还是一个表实际上是一个全局KTable？

apache-kafka-streams、ksqldb

我有两个基于docker映像confluentinc/cp-ksql-server:5.3.0的ksql服务器实例正在运行。两者都使用相同的。第二，我可以根据来自(两个实例)的ID来选择同一个客户，但我希望只能从其中一个实例中选择，因为我假设KTable等同于一个KTable，也就是说，它应该只包含本地数据，即从KSQL服务器实例处理的分区中附加到的ksql-server的</em

浏览 1提问于2019-08-02得票数 1

回答已采纳

1回答

在简单聚合中返回意外值的KSQL查询

apache-kafka、apache-kafka-streams、ksqldb

对于KTable本身由一个Kafka主题定义的KSQL查询，我得到了意想不到的结果。KTABLE是“贸易”，它的背后是紧凑的主题"localhost.dbo.TradeHistory“。它应该包含由TradeId键控的股票交易的最新信息。主题的关键是TradeId。每个交易都有一个AccountId，我正在构建一个查询，以获得按帐户分组的交易金额的总和。segment.ms=100

浏览 3提问于2019-10-12得票数 1

回答已采纳

1回答

我可以使用KSQL来生成处理超时吗？

apache-flink、apache-kafka-streams、ksqldb

我正在尝试使用KSQL在一个时限内进行任何处理，并在那个时间限制中得到结果。请参阅“处理时间定时器”下面的，以获得使用Apache演示的相同想法。给予：一个下游处理器，它希望在事务出现在第一个流中之后，在一个特定的超时(例如20秒)中接收更新的事务。从概念上讲，我正在考虑创建第一个流的KTable，以保存事务的最新

浏览 1提问于2018-11-14得票数 1

回答已采纳

1回答

创建KSQL流时的密钥

apache-kafka、ksqldb、confluent-platform

1)是需要执行聚合函数的Stream上的Key。，即'Employee’流上的ROWKEY不为空CREATE TABLE users (registertime

浏览 3提问于2019-06-23得票数 0

1回答

如何只选择pandas DataFrame时间窗口中的最新值？

pandas、dataframe

我有一个DataFrame，它应该拆分成15分钟的时间窗口，可能是使用一个新的列来标记它们，每个窗口都有一个惟一的标识符。然后我只想保留每个时间窗口的最新测量值。因此，如果在一个时间窗口内有两个"b“的测量值，则只保留最新的一个，而删除较早的一个。|2536 |1 |

浏览 5提问于2018-07-18得票数 1

回答已采纳

1回答

为什么我可以读取ksqldb流，而不能读取ksql客户端中的主题？

ssl、apache-kafka、ksqldb、sasl

我正在最新版本中的AWS EC2实例上测试ksqldb (合5.5.1)，并且有一个我无法解决的访问问题。主题正确地填充了JDBC源连接器的数据(仅值，没有键)。当我在KSQL中列出主题时，I可以使用无问题的访问ksql，而无需问题。当我选择推送流时，当我按下某个主题时(在我的例子中是用Kafka )，我可以得到消息。<code>H 210</code><co

浏览 5提问于2020-09-02得票数 1

回答已采纳

1回答

是否可以用卡夫卡连接来“插入”卡夫卡的信息？

jdbc、apache-kafka、upsert、apache-kafka-connect、confluent-platform

我使用的是合流3.3.0。我使用jdbc-source-connector将消息插入到我的Oracle表中的Kafka中。这个很好用。我桌子的id应该成为相应的卡夫卡信息的key。我的主键(id

浏览 1提问于2018-08-01得票数 0

1回答

最近X天内注册的所有用户的表

ksqldb

我有一个从MySQL用户表派生的主题，现在我想在ksqldb中创建一个表，该表始终包含过去50天内注册的所有用户。在文档中花了一些时间之后，我仍然找不到解决这个问题的方法。窗口似乎不起作用，因为据我所知，它只适用于流-流连接。这种事情仅仅使用ksql是可能的吗，或者我需要寻找其他的解决方案吗？谢谢!

浏览 1提问于2020-09-22得票数 0

点击加载更多