腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
流
中
的
值
动态
创建
平面
映射函数
(
键控
状态
)
scala
、
machine-learning
、
apache-flink
、
flink-streaming
我正在写一个
流
Flink程序,为我们
的
离线训练模型做特征提取,并想知道程序
的
设计。我希望每个特征提取逻辑在其类
中
维护自己
的
状态
,以便添加一个新
的
特征提取将等同于添加一个新
的
类。method.getReflect("com.xxx.FeatureExtraction1") data.keyBy(_).flatmap(featureExtraction1) 其中每个特征提取逻辑都有其自己
的
内部
状态
跟踪
浏览 24
提问于2019-05-07
得票数 0
回答已采纳
1
回答
适用于每一项输入
java
、
apache-flink
我订阅了一个主题
的
FlinkKafkaConsumer011。我希望处理(apply)每一个卡夫卡消费者消息,因此自定义FooTrigger,返回TriggerResult.FIRE
的
每个元素。
浏览 0
提问于2018-09-26
得票数 0
回答已采纳
2
回答
什么意味着“广播
状态
”为Flink
的
CEP库
的
“
动态
模式”特性
的
实现打开了障碍?
apache-flink
、
flink-streaming
、
flink-cep
从Flink 1.5发布公告
中
,我们知道Flink现在支持“广播
状态
”,并描述了“广播
状态
为Flink
的
CEP库
的
”
动态
模式“特性
的
实现打开了障碍。”这是否意味着目前我们可以
使用
“广播
状态
”来实现“
动态
模式”而不需要Flink CEP?另外,我不知道在有或没有广播
状态
的
情况下实现Flink CEP
的
“
动态
模式”有什么区别?============
浏览 1
提问于2018-05-26
得票数 0
回答已采纳
2
回答
为什么“广播
状态
”可以存储
动态
规则,而广播()操作符却不能?
apache-flink
、
flink-streaming
我对“广播
状态
”和广播()操作符之间
的
区别感到困惑,最后在下面的线程
中
得到了Flink专家
的
帮助。最后得出结论:“广播
状态
”可以在RichCoFlatMap
键控
流
中
存储
动态
规则,而RichCoFlatMap ()运算符不能存储
动态
规则,那么我可以知道“广播
状态
”如何通过RichCoFlatMap存储
动态
规则,以及为什么RichCoFlatMap不能存储
动态
规则?
浏览 2
提问于2018-05-28
得票数 0
回答已采纳
1
回答
卡夫卡
流
聚合是否有任何排序保证?
apache-kafka-streams
我的卡夫卡主题包含由deviceId
键控
的
状态
。我希望
使用
KStreamBuilder.stream().groupByKey().aggregate(...)只将
状态
的
最新
值
保存在TimeWindow
中
。我猜想,只要主题被键划分,聚合函数就可以以这种方式返回最新
的
值
:这是我能从卡夫卡
流
中
得到
的<
浏览 2
提问于2017-01-09
得票数 6
回答已采纳
1
回答
Flink: ValueState on RichFlatMapFunktion总是返回null
apache-flink
、
flink-streaming
我试图计算在给定
的
滚动窗口中找到
的
最大哈希标签数量。 为此,我做了一个“单词计数”
的
主题标签,并总结他们。这个很好用。在此之后,我尝试在给定
的
窗口中找到具有最高顺序
的
hashtag。我
使用
RichFlatMapFunction和ValueState来保存单个散列标签外观的当前最大
值
,但这是行不通
的
。我已经调试了我
的
代码,并发现ValueState "maxVal“
的
值
在每个flatMap步
浏览 0
提问于2017-10-23
得票数 1
回答已采纳
1
回答
SSIS、
平面
文件连接页眉、不同列宽
的
页脚
ssis
我有一个数据
流
任务,它从proc获取数据,对行进行计数,并将这些行添加到一个
平面
文件
中
,每个列都有不同
的
输出列宽度,这是在
平面
文件连接管理器
的
高级选项卡中指定
的
。
平面
文件目标对象每次都会覆盖该文件,并
动态
创建
该文件
的
名称。 现在,我需要做
的
是向现有的
平面
文件
中
添加一个页眉和页脚行,其中只有5个列,每个列都有自己
的
宽度。页眉和页脚
浏览 0
提问于2018-11-12
得票数 0
回答已采纳
1
回答
Flink
状态
后端密钥
的
原子性和分布
apache-flink
例如,考虑一个由keyby->
平面
映射(包含映射
状态
)组成
的
图,并将并行性设置为具有4个任务槽
的
1,flink是否确保每个键在分布式环境
中
只存在一次(在一个任务槽
中
),它是原子单元吗?您可以将
键控
状态
视为已分区或分块
的
运算符
状态
,每个键只
使用
一个
状态
分区。每个键
状态
在逻辑上都绑定到<parallel-operator-instance, key>
浏览 4
提问于2017-08-17
得票数 1
回答已采纳
1
回答
Apache
中
的
DataStream和KeyedStream有什么区别?
join
、
streaming
、
apache-flink
我在
使用
Flink连接两个
流
的
上下文中查看,并希望了解这两个
流
之间
的
区别以及影响Flink处理它们
的
方式。作为一个相关
的
问题,我还想了解CoProcessFunction与KeyedCoProcessFunction有何不同。
浏览 2
提问于2021-02-17
得票数 1
回答已采纳
2
回答
广播
流
的
一种替代方法
apache-flink
、
flink-streaming
在我
的
flink工作
中
,我有两个不同
的
流
; 第一个是表示将应用于实际
流
的
一组规则。我刚刚公布了这些规则。变化来自卡夫卡,每小时可以有一些变化(比如每小时100到200次)。第二种是称为customer
流
的
实际
流
,它包含每个客户
的
一些数值。这基本上是基于customerId
的
键控
流
。因此,基本上,我正在准备我
的
实际客户
流
数据,
浏览 13
提问于2022-08-05
得票数 -1
1
回答
Flink批处理模式不按事件时间戳排序。
apache-flink
、
flink-streaming
、
flink-batch
我有一个定制
的
flink Source,还有一个SerializableTimestampAssigner,它将事件时间戳分配给源发出
的
记录。由于底层数据存储
的
性质,源可能会发出无序
的
记录,但是在批处理模式下,我希望在任何操作符处理这些记录之前,Flink会根据事件时间戳对这些记录进行排序。摘自Flink
的
执行模式:
浏览 1
提问于2022-04-22
得票数 1
回答已采纳
1
回答
为什么我在Apache中
使用
NullPointerException ()时有一个initializeState?
apache-flink
我在CheckpointedFuntion中
使用
运算符
状态
,但是在初始化MapState时遇到了NullPointerException: public void initializeState(FunctionInitializationContext
浏览 0
提问于2018-03-18
得票数 0
1
回答
KeyBy None for KeyedState
scala
、
state
、
apache-flink
编辑:我刚刚发现在Java中有一个类用于这个: NullByteKeySelector,允许在非
键控
用例中
使用
键控
运算符。由于mapWithState只是Scala
的
语法糖,所以我尝试注册处理keyBy
的
常用
状态
,但是,我不知道如何处理keyBy。 在这种情况下,
流
只是时间戳和数字
的
时间序列元组。我尝试按时间戳、标量和两者进行
键控
,以强制将流转换为keyedStream,这样我就可以像最初
的
示例一样
使用</e
浏览 5
提问于2020-06-14
得票数 0
回答已采纳
1
回答
最后一组时间窗
ranking
、
apache-flink
、
flink-streaming
、
top-n
、
windowing
.keyBy(0) .sum(1) .sink()我可以计算
平面
图中
的
顶部N,但是我不知道什么时候把它发送到水槽存储。据我所见,无法知道窗口何时从
平面
映射函数
中
结束。我知道有一些替代方案,例如一个同时执行或在
流
中
<
浏览 2
提问于2017-05-16
得票数 0
回答已采纳
2
回答
如何在Flink
中
连接2个以上
的
流
?
apache-flink
、
flink-streaming
我有3个不同类型
的
键控
数据
流
。DataStream<A> first;DataStream<C> third; 每个
流
都定义了自己
的
处理逻辑,并在它们之间共享一个
状态
。我想连接这3个
流
,当数据在任何
流
中
可用时,触发相应
的
处理功能。在两个流上连接是可能
的
。first.connect(second).process(<
浏览 57
提问于2020-10-31
得票数 5
回答已采纳
1
回答
Flink -在时间约束范围内处理连续事件
apache-flink
、
window-functions
、
flink-streaming
我
的
代码将用java编写,但我不想在python
中
获取代码,也不想只
使用
伪代码或方法。 我需要
使用
eventT
浏览 0
提问于2019-02-22
得票数 1
1
回答
什么时候在Flink中
使用
CoProcess函数?
apache-flink
、
flink-streaming
我只是想了解在Flink中
使用
CoProcessFunction
的
用例。举例说明会帮助我更好地理解这个概念。
浏览 21
提问于2019-07-28
得票数 1
回答已采纳
1
回答
如何在固定时间后主动删除Flink
中
的
状态
?
apache-flink
、
flink-streaming
在Flink作业
中
,我希望在构建后24小时删除内存
中
的
状态
。我检查了这个并设置了
状态
生存时间(Ttl),但正如本文中提到
的
,
状态
删除是惰性/被动
的
,这可能会导致内存泄漏。然后我将不能调用这个键
的
函数和
状态
的
ttl ('USA','Male',2018),那么它将永远保存在内存
中
。这篇文章提到了
使用
计时器:The i
浏览 4
提问于2019-01-24
得票数 1
1
回答
Flink可重新扩展
的
键控
流
有
状态
函数
apache-flink
、
flink-streaming
在下面的Flink作业
中
,我尝试将键
流
有
状态
函数(MapState)与后端类型
的
RockDB一起
使用
,.addSource(consumer).name("MyKafkaSource,如何实现可重扩展
的
键控
状态
,以便在改变并行性之后,我可以将相应
的
缓存
键控
数据获取到相应
的
任务槽。基于此,可以
使用
ListCheckPointed接口实现可重扩展<e
浏览 3
提问于2020-05-04
得票数 3
回答已采纳
1
回答
Flink :处理数据早于应用程序水印
的
键控
流
apache-flink
、
flink-streaming
、
watermark
我
使用
的
是Flink和一个
动态
源和事件时间
键控
窗口。应用程序将监听实时数据
流
,开窗口(事件时间窗口)并处理每个
键控
流
。我还有另一个用例,在这个用例
中
,我还需要能够支持回填某些密钥
流
的
旧数据(这些将是带有event-time 考虑到我
使用
的
是水印,这可能是一个问题,因为Flink不支持每个密钥
的
水印。因此,任何用于回填
的
键控
<e
浏览 18
提问于2021-11-01
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Flink 如何处理有状态的计算?
跟我学 Java 8 新特性之 Stream 流(五)映射
Flink 支持哪些状态管理方式?
QForm Extrusion 10.2 更新说明
大数据入门:Flink状态编程与容错机制
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券