腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1102)
视频
沙龙
1
回答
Apache
flink
对
水印
空闲
的
理解
以及
与
有界
持续时间
和
窗口
持续时间
的
关系
java
、
apache-kafka
、
apache-flink
、
flink-streaming
我有一个配置了Kafka连接器
的
Flink
管道。然而,由于我们做
的
是翻滚
窗口
,即没有重叠,我猜没有30-90
窗口
,0-60之后
的
下一个
窗口
是60-120,在150秒触发,
对
吗?对于源
空闲
持续时间
,我选择120,表示如果该主题
的
任何Kakfa分区是数据不活动
的
,则在2分钟后将其标记为
空闲
,然后为其他活动分区发送
水印
。我
的
问题是关于
浏览 33
提问于2021-07-08
得票数 0
回答已采纳
1
回答
关于事件时间处理,
Flink
中
的
水印
是什么?为什么需要它?
apache-flink
、
flink-streaming
关于事件时间处理,
Flink
中
的
水印
是什么?为什么需要它?为什么在所有使用事件时间
的
情况下都需要它。不管怎么说,我
的
意思是,如果我不做一个
窗口
开放,那么为什么我们仍然需要一个水渍。我来自火花背景。在星星之火中,我们只需要在传入事件上使用
窗口
时才需要
水印
。把你
的
回复贴出来,我再读一
浏览 0
提问于2020-02-18
得票数 2
1
回答
关于
Flink
的
两个术语
apache-flink
事件时间
与
事件摄入时间之间
的
持续时间
。我用了一个叫“排队时间”
的
词。 我目前正在撰写一些关于
Flink
的
文档。
浏览 0
提问于2019-06-28
得票数 1
1
回答
大
窗口
的
spark结构化流媒体:内存消耗
apache-spark
、
spark-structured-streaming
我们计划实现一个Spark结构
的
流应用程序,它将消耗连续
的
数据流:度量值随时间
的
演变。此流应用程序将使用7天
的
窗口
大小(
和
滑动
窗口
),以便频繁地计算过去7天
的
度量值
的
平均值。1- Spark是否会保留所有7天
的
数据(对消耗
的
内存有很大影响),或者Spark会不断计算
和
更新平均请求(然后删除已处理
的
数据),因此不会影响消耗
的
内存(不会保留7天<em
浏览 0
提问于2020-10-05
得票数 1
1
回答
Apache
Flink
基准测试延迟性能
java
、
apache-flink
我有一个关于
Apache
Flink
的
问题。为了测量每个并行数量
的
Apache
Flink
的
延迟性能,我们希望
对
每个
窗口
创建
窗口
和
发出
窗口
之间
的
时间差求和。延迟是使用
水印
触发器在Window
的
构造函数中定义
的
system.currenttimemillis ()
和
public long sta
浏览 2
提问于2020-02-03
得票数 0
1
回答
如何在
Flink
流处理
窗口
中收集后期数据
apache-flink
、
stream-processing
、
windowing
我希望在8毫秒
的
窗口
时间内收集输入数据流,并减少每个
窗口
数据。timeWindow(Time.milliseconds(8))Point数据流
的
关键是处理时间
的
时间戳映射到处理毫秒时间戳
的
最后但是,数据流可能到达较晚,并进入错误
的
窗口
时间。例如,假设我将
窗口
时间设置为8毫秒。如果数
浏览 2
提问于2018-07-14
得票数 1
回答已采纳
1
回答
丢失连接场景中
的
Flink
事件时间处理
apache-flink
、
flink-streaming
Flink
提供了一个例子:,它描述了某个人正在玩游戏,由于地铁而失去连接
的
场景,然后当他回到网上时,所有的数据都回来了,可以排序
和
处理。我对此
的
理解
是,如果有更多
的
球员,有两种选择: 我希望有以下选项:每个用户都是独立处理
的
浏览 0
提问于2019-10-01
得票数 0
回答已采纳
2
回答
应用windowedFunction后
窗口
中没有内容
apache-flink
、
flink-streaming
我是新来
的
Flink
,我试着做一些练习,当我使用
窗口
与
卡夫卡连接器,我遇到了一个问题。有人能告诉我为什么每个
窗口
的
内容都没有输出吗?
浏览 3
提问于2017-11-27
得票数 0
回答已采纳
1
回答
Apache
flink
从late window访问键控状态
apache-flink
、
flink-streaming
我正在编写一个
Flink
应用程序,它使用kafka主题中
的
时间序列数据。时间序列数据包含指标名称、标记键值
对
、时间戳
和
值等组件。我已经创建了一个滚动
窗口
,用于根据指标键(指标名称、键值
对
和
时间戳
的
组合)聚合数据。我还想检查上面
窗口
之外是否有任何延迟到达
的
指标。我想要检查有多少指标延迟到达,并计算
与
原始指标相比延迟指标的百分比。我正在考虑使用
flink
的
"
浏览 17
提问于2021-08-09
得票数 0
回答已采纳
2
回答
为什么不发出
Flink
事件会话
窗口
apache-flink
我使用
flink
会话
窗口
连接两个流。 return System.currentTimeMillis();} newTableA.setB3(tableB.getB3());
浏览 3
提问于2020-07-30
得票数 0
回答已采纳
1
回答
如果为
flink
的
keyBy操作符提供distinct键,然后是翻滚
窗口
,会发生什么情况
apache-flink
、
flink-streaming
我
的
flink
作业有keyBy操作符,它以date~clientId(日期为yyyymmddhhMM,MM为分钟,5分钟后更改)为关键字。此操作符之后是5分钟
的
翻滚
窗口
。我们有平均300万/分钟事件
的
kafka输入,高峰时间大约2000万/分钟
的
事件。检查点
持续时间
和
两个检查点之间
的
最小停顿时间为3分钟。下面是我
的
疑虑:
浏览 1
提问于2020-03-12
得票数 0
1
回答
flink
检查点如何帮助故障恢复
apache-flink
、
flink-streaming
我们有平均300万/分钟事件
的
kafka输入,高峰时间大约2000万/分钟
的
事件。检查点
持续时间
和
两个检查点之间
的
最小停顿是3分钟,我使用
的
是FsStateBackend。以下是我
的
假设:
Flink
从kafka消耗一些固定数量
的
事件(一次从多个分区获得多个偏移量),并等待,直到它到达接收器,然后是检查点。因此,我们可以说,当接收器将数据写入hdfs时,所有之前
的
操作符都处于
空闲
浏览 0
提问于2020-03-12
得票数 0
1
回答
水印
的
行为不稳定,可能是由于错误
的
事件时间(客户端时钟偏差)
google-cloud-dataflow
、
apache-beam
我们使用具有10分钟间隔
持续时间
和
默认触发
的
会话
窗口
(即,不允许提前触发
和
延迟)。 我们观察到
的
是(1)会话
的
不稳定
和
突发性发射,
以及
(2)不稳定
和
“跳跃”
的
水印
,有时可以追溯到历史上
的
2周。我们认为这可以
与
具有本地时钟偏差
的
客户端
的
子集相关联,从而影响事件时间。这将意味着,
水印
不会将来自“坏
浏览 22
提问于2017-01-19
得票数 0
2
回答
Apache
与
Hadoop上
的
Mapreduce相比如何?
hadoop
、
mapreduce
、
apache-flink
Apache
与
Hadoop上
的
Mapreduce相比如何?在哪些方面更好,为什么呢?
浏览 9
提问于2015-04-28
得票数 14
回答已采纳
1
回答
Apache
中
的
TumblingWindow
水印
apache-flink
、
flink-streaming
我试图
理解
在
Apache
中Windows
和
FLink
生成
水印
之间
的
依赖
关系
,下面的示例中有一个错误: return new Tuple2<>(order.getCategory(), 1); } 这里
的
时间戳很长每
浏览 3
提问于2021-11-12
得票数 0
回答已采纳
2
回答
推荐,
Flink
,星火MLLib,“灰色盒子”
apache-spark
、
apache-flink
、
mahout-recommender
我
对
Mahout很陌生,我正在努力
理解
不同项目的“领域”,
以及
它们之间
的
关系
。我
理解
摒弃了许多MapReduce算法,它将基于
Apache
或Spark或其他引擎,比如h2o (基于"
Apache
: Beyond MapReduce“
的
介绍)。同时,
Apache
(或者它是星火MLLib?)实现推荐
的
ALS算法(
和
)。一般性问题: 是否这些来自mahout.
a
浏览 5
提问于2016-05-14
得票数 0
回答已采纳
3
回答
数据流滑动
窗口
与
带有触发器
的
全球
窗口
?
google-cloud-dataflow
、
apache-beam
、
dataflow
我正在为一家电子商务公司设计一个废弃
的
篮子系统。系统将根据以下规则向用户发送消息: 我觉得滑动窗在这里可能有用。但我
的
问题是,是否可以基于使用基于处理时间
的
触发器
和</e
浏览 2
提问于2019-02-01
得票数 2
1
回答
预定义(
和
大)
窗口
?任何流处理框架都支持这一点吗?
apache-spark
、
spark-streaming
、
apache-flink
、
apache-beam
、
flink-streaming
我看到
的
所有
窗口
示例都涉及到定义
窗口
。例如,翻滚1分钟
的
窗口
,或滑动1分钟
的
窗口
等等。在我
的
情况下,我所有的数据都有时间戳事件,但这不是主要
的
兴趣所在。 我
的
所有数据都有一个关联
的
周期,我无法控制它。我不清楚如何用
水印
/触发器/等等来处理这种情况?如果我正确地
理解
了所有这些术语,我就会想到这样
的
事情:PERIOD N
的
浏览 0
提问于2019-04-03
得票数 0
1
回答
Flink
的
窗口
操作是处理
窗口
末尾
的
元素,还是做滚动处理?
apache-flink
、
flink-streaming
我有一些困难,了解
窗口
是如何在内部实现
Flink
,并没有找到任何文章,以解释这一点
的
深入。在我看来,有两种方法可以做到。.window(Time.of(500, TimeUnit.SECONDS)).sum(1) 方法1:将所有事件存储500秒,在
窗口
的
末尾,通过
对
存储
的
事件应用
和
操作来处理所有事件。方法2:我们使用一个计数器来存储每个
窗口
的
滚动金额。当
窗口
中
的
每个事件出现时,我们
浏览 6
提问于2022-01-17
得票数 0
回答已采纳
3
回答
使用XSLT计算计算列
的
总数
xml
、
xslt
、
itunes
我今天刚学会了XSLT,当我想从itunes漂亮地打印出播放列表输出(xml)
的
时候。我终于
理解
了XSLT
与
XML
的
关系
以及
它
的
用处。我从获取了代码,并根据自己
的
目的
对
其进行了定制。我已经创建了一个动态列,它是歌曲
的
播放时间/
持续时间
(对于设置开始
和
结束时间的人/djs很有用!)。在显示
的
末尾,我想要
的
是所有
持续时间<
浏览 0
提问于2012-04-06
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Flink EventTime 和 Watermark
Apache Flink 社区发布的 Stateful Functions 2.2.0 是什么?
通过Flink+NBI可视化构建实时大数据分析系统
《从0到1学习Flink》——Apache Flink 介绍
在流式系统中如何引入Watermark支持:以Pravega和Flink为例
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券