腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
是否
可以
使用
输
入流
中
的
时间
戳
在
Flink
中
创建
翻滚
窗口
。
如果是
,
那么
是
如何
实现
的
?
apache-kafka
、
apache-flink
、
flink-streaming
我一直
在
尝试
在
Flink
-Kafka消费者上
使用
翻滚
窗口
。
Flink
将以Json格式从KafkaStream获取输入: >{"eventGroup":"1121212" , "eventTime":"2020-01-02T13:43:43"}>{"
浏览 17
提问于2020-01-02
得票数 0
1
回答
Apache :
如何
处理水印背后
的
所有事件?
apache-flink
、
watermark
、
flink-streaming
我想
使用
Flink
的
事件
时间
戳
,并计划
实现
一个简单
的
emitWatermark,即System.currentTimeInMillis - 10秒。我
的
理解
是
翻滚
窗口
会触发start_time + window_interval +10秒。因此,如果事件到达
的
时间
晚于水印,
那么
这些事件将被删除。有没有一种方法
可以
将所有由
浏览 0
提问于2018-04-13
得票数 2
1
回答
有没有可能让不同
的
密钥有独立
的
水印?
apache-flink
我正在
使用
Flink
1.12并且我有一个键控流,
在
我
的
代码中看起来A和B共享相同
的
水印?-30 10:50:15,没有B
的
输出 我想问,
是否
有可能使不同
的
密钥具有独立
的
水印?import org.apache.
flink
.streaming.api.TimeCharacteristic import org.apache.
flink
.streaming.api.functions.Assigner
浏览 12
提问于2021-05-02
得票数 0
回答已采纳
1
回答
闪烁计时器
时间
戳
apache-flink
、
flink-streaming
、
flink-cep
如果
Flink
中
的
计时器被设置为过去
的
时间
戳
,
那么
它们会被触发吗?由于当前
时间
戳
大于计时器服务
的
时间
戳
,它是会立即被触发还是永远不会被触发?此外,我们正在尝试根据事件
时间
对输入事件进行排序/排序,方法
是
在
基于处理
时间
的
翻滚
窗口
中收集/缓冲
浏览 12
提问于2021-05-05
得票数 0
1
回答
Apache
Flink
- SQL Kafka连接器
在
事件
时间
上
的
水印不拉取记录
apache-kafka
、
apache-flink
、
flink-sql
我有一个类似于
的
问题。不同之处在于,我
使用
使用
kafka connect
的
SQL来读取topic
中
的
记录。我以固定
的
间隔获取记录,但不知何故,我没有获得输出
中
的
最后几条记录。例如,Kafka topic
的
最后一条记录
的
时间
戳
是
2020-11-26T13:11:36.605Z,聚合值
的
最后一条
时间
戳</e
浏览 0
提问于2020-11-27
得票数 0
2
回答
为什么我
的
flink
程序没有加入两个流?
apache-flink
、
flink-streaming
这些
是
我对客户主题
的
kafka流
的
输入{"id": 2,"name": "Swati" }{"id": 5,"n
浏览 17
提问于2020-05-15
得票数 0
1
回答
Flink
:
是否
可以
为检查点提供或分配
时间
戳
?
apache-flink
、
flink-streaming
Flink
:
是否
可以
为检查点文件夹提供或分配
时间
戳
,例如将最后一个检查点
的
时间
戳
附加到
使用
作业id命名
的
文件夹?
是否
可以
为每个作业
的
外部检查点提供自定义名称?
如果是
,
是
如何
实现
的
?
浏览 5
提问于2020-03-03
得票数 0
1
回答
Flink
上用于处理(历史流)
的
滑动事件
窗口
的
强制驱逐
java
、
apache-flink
、
flink-streaming
在
我
的
学习
中
,我
使用
由以下形式
的
元组组成
的
历史流:
在
处理过程
中
,event_time作为TimeCharacteristic.EventTime不幸
的
是
,我已经注意到,即使有足够多
的
元组到达一个完整
窗口
的
窗口
操作符
中
,也不会将该
窗口</
浏览 0
提问于2018-02-06
得票数 0
回答已采纳
1
回答
Flink
-
在
事件
时间
创建
TumblingEventTimeWindows
apache-flink
我试图从卡夫卡为事件
时间
创建
TumblingEventTimeWindows,在那里每隔1分钟就会有记录。与每一分钟
的
粒度不同,我想在一段
时间
内以相同
的
方式进行取样,我正在尝试以下步骤: val strategy = WatermarkStrategy.forBoundedOutOfOrderness<POJOTumblingEventTimeWindows没有产生任何结果,因此我看不到进程函数
中
的
任何输出。如果我
使用
TumblingProces
浏览 2
提问于2022-07-12
得票数 0
回答已采纳
2
回答
apache
flink
窗口
顺序
apache-flink
、
flink-streaming
使用
Apache
Flink
,我想
创建
一个按存储
在
Kafka事件
中
的
时间
戳
排序
的
流
窗口
。根据下面的文章,这是没有
实现
的
。 然而,这篇文章
的
日期
是
2015年7月,现在已经快一年了。
是否
实现
了此功能,
是否
有人
可以
向我提供任何相关文档和/或示例。
浏览 4
提问于2016-06-14
得票数 2
1
回答
Apache
Flink
:每个分区
的
水印?
apache-flink
我看到有很多关于增加对每个键
的
水印
的
支持
的
讨论。但是
flink
支持每个分区
的
水印吗?任何关于这方面的信息都是非常感谢
的
!
浏览 5
提问于2020-12-22
得票数 0
1
回答
如何
处理流数据
时间
戳
库上
的
FLINK
窗口
?
apache-flink
、
flink-streaming
基于类
中
的
时间
戳
,我想
创建
一个逻辑,它排除了
在
1分钟内输入N次或更多次
的
数据。谢谢。
浏览 4
提问于2021-01-31
得票数 1
2
回答
Apache
Flink
-事件
时间
streaming
、
apache-flink
、
flink-streaming
我想在Apache
flink
中
为我
的
事件
创建
一个事件时钟。) { 请检查上面的代码,并告诉我
是否
正确
在
事件
时间
和水印分配之后,我希望
在
处理函数
中
处理流,
在
该函数
中
,我将为不同
的
密钥收集10分钟
的
流数
浏览 1
提问于2018-09-03
得票数 1
2
回答
Flink
间隔加入DataStream与KafkaSource删除所有记录
apache-flink
、
flink-streaming
电流配置 应用程序运行在应用程序
中
的
Flink
1.14.4上,数据流(由长链操作符产生)间隔连接到一个Kafka源。事件时
戳
每个分区严格上升。卡夫卡上
的
每分区水印策略将水印设置到它迄今看到
的
最大
时间
戳
(有界无序=1秒)。区间连接操作符
的
输出应该是(并且曾经)两个传
入流
的
最小值(卡夫卡和DS),但是对于KafkaSource,它在一定
时间
之后被设置为最大。因此,数据流
中</
浏览 12
提问于2022-06-17
得票数 0
回答已采纳
1
回答
Apache
flink
对水印空闲
的
理解以及与有界持续
时间
和
窗口
持续
时间
的
关系
java
、
apache-kafka
、
apache-flink
、
flink-streaming
我
使用
以下命令将水印生成频率设置为2秒: env.getConfig().setAutoWatermarkInterval(2000); 现在,对于流
窗口
,我
的
翻滚
窗口
是
60秒,其中我们进行了一些聚合,然而,由于我们做
的
是
翻滚
窗口
,即没有重叠,我猜没有30-90
窗口
,0-60之后
的
下一个
窗口
是
60-120,
在
150秒触发,对吗?
浏览 33
提问于2021-07-08
得票数 0
回答已采纳
1
回答
如何
在apache-
flink
中
实现
groupByUntil?
apache-flink
允许按键对元素进行分组,并在特定事件或
时间
间隔(即,来自RxJS
的
描述)之后将其移除。 正如我所看到
的
,apache-
flink
没有这样
的
开箱即用功能。谁能解释一下
如何
在apache-
flink
中
实现
这样
的
功能?
浏览 0
提问于2015-11-25
得票数 1
2
回答
窗口
操作
创建
的
DataStream
中
的
上下文
时间
戳
java
、
apache-flink
、
flink-streaming
、
flink-cep
假设我有一个inputStream,并对它执行一些
窗口
操作。通过对事件执行某些
窗口
操作而
创建
的
事件
的
时间
戳
是什么。 .timeWindow(time.Seconds(1))现在,我希望将流countStream和maxStream组合起来,以找到所有
时间
戳
,在这些
时间
戳
中
,最后一秒钟
的</e
浏览 1
提问于2019-03-22
得票数 0
回答已采纳
1
回答
如何
在以日期-
时间
为中心
的
非eventtime字段上处理
Flink
中
的
窗口
/聚合?
apache-flink
我正在处理来自Kafka
的
发票事件,这些事件有一个事件“
时间
戳
”和一个"scheduledAt“日期(
时间
戳
),并希望
在
发票”scheduledAt“上执行每日聚合。
在
传统
的
数据库
中
,我会这样做:FROM "Invoice" WHERE date_trunc('day', "scheduledAt") = date_trunc(
浏览 9
提问于2018-02-08
得票数 0
1
回答
来自
Flink
流
的
手动检查点
apache-flink
、
flink-streaming
是否
可以
从
Flink
流作业触发检查点?问题
是
我
的
状态很大,一个常规
的
周期性检查点有时会花费太多
时
浏览 1
提问于2017-07-19
得票数 2
2
回答
数一小时卡夫卡主题
的
信息
scala
、
apache-kafka
我想数数来自kakfa主题
的
信息。例如,我有一个案例类:我收到了这门课
的
消息,我想数一数我
在
1小时内收到了多少条消息。假设消息
是
在这个主题中排序
的
(
时间
戳
对应于消息进入主题时)。我想
创建
这样一个案例类:假设我第一小时有100条短信,
那么</e
浏览 1
提问于2018-05-17
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Flink EventTime 和 Watermark
如何基于 Flink 生成在线机器学习的样本?
flink handbook-flink数据流编程模型
Flink中的应用部署(三):自定义窗口处理
在流式系统中如何引入Watermark支持:以Pravega和Flink为例
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券