腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Flink
中
的
不同
输出
加
入了
带有
逐出
函数
的
流
java
、
apache-flink
、
flink-streaming
我正在尝试通过本地连接两个DataStreams来运行一个基本
的
连接。源流
的
数据类型相同(Tuple4( String,String,Long,Long))。在多次运行下面提到
的
函数
之后,我在随机
的
基础上收到了两个
不同
的
输出
(存储在下面的变量CollectTuple2Sink
中
,相同
的
调试日志在下面提到)。val1,1514745060000), (val3,1514745180000), (val4,1514745
浏览 13
提问于2020-01-09
得票数 0
回答已采纳
1
回答
Apache :如何在滚动时间窗口中使用DISTINCT?
apache-flink
、
flink-streaming
、
flink-sql
我有一个像这样
的
流
:<_time(timestamp), uri(string), userId(int)>。at org.apache.
flink
.table.codegen.CodeGenerator$$anonfun$visitCall$3.apply(CodeGenerator.scala:1006)at org.apache.
flink
.table.codegen.CodeGenerator$$anonfun$visitCall$3.apply(CodeGenerator.scala:1006(Cod
浏览 1
提问于2018-03-02
得票数 1
1
回答
Flink
-异步窗口
apache-flink
、
flink-streaming
这是一个关于
flink
流
的
两个问题,基于我自己做
的
实验,我需要一些澄清。问题如下: 假设我们在
加
窗
的
流上使用apply
函数
(做一些计算),然后该
流
将创建一个DataSt
浏览 1
提问于2017-03-13
得票数 0
回答已采纳
1
回答
在
flink
广播
流
中
处理大数据
java
、
apache-kafka
、
apache-flink
、
flink-streaming
、
broadcast
我使用
的
是一个
Flink
流
应用程序,它
的
输入源是Kafka。在我
的
应用程序
中
总共使用了4个
流
。一个是主要数据
流
,另一个是3个用于广播
流
。
流
B是一个丰富数据集。
流
B是C
流
、D
流
、E
流
的
组合流。它是一个很大
的
流
(所有3个
流</em
浏览 3
提问于2020-07-24
得票数 0
1
回答
leftOuterJoin抛出TableException:不支持
的
联接类型“左”
scala
、
apache-flink
、
flink-sql
我在使用
flink
之前所做
的
所有连接都是内部联接,我一直使用.toRetractStream[MyCaseClass](someQueryConfig)来跟踪连接。但是,由于左联接引
入了
空值,我从
的
理解是,我不能再使用case类,因为它们在将表转换为DataStream时不支持空值。 所以,我试着用POJO来完成这个任务。但是,根据
的
说法,我似乎应该能够运行一个左联接。同样值得注意
的
是,错误是从.toAppendStream[EnrichedTaskUpdateJoin](qConfig
浏览 1
提问于2018-07-16
得票数 2
回答已采纳
1
回答
在DataStream
Flink
中
读取JDBC源数据
的
问题
java
、
jdbc
、
apache-kafka
、
apache-flink
、
flink-streaming
我正在启动一个新
的
Flink
应用程序,以允许我
的
公司执行大量
的
报告。我们有一个现有的遗留系统,所需
的
大部分数据都保存在Server数据库
中
。在开始使用新部署
的
Kafka
流
的
更多数据之前,我们首先需要使用这些数据库
中
的
数据。 我花了很多时间阅读
Flink
书籍和网页,但我有一些简单
的
问题和假设,我希望你能帮助我,这样我才能进步。将来,我还想包括一个Kafka
流
浏览 1
提问于2021-08-10
得票数 2
回答已采纳
2
回答
Apache与Hadoop上
的
Mapreduce相比如何?
hadoop
、
mapreduce
、
apache-flink
Apache与Hadoop上
的
Mapreduce相比如何?在哪些方面更好,为什么呢?
浏览 9
提问于2015-04-28
得票数 14
回答已采纳
3
回答
Flink
:
带有
延迟元素
的
水印
apache-flink
、
flink-streaming
我在
Flink
中
做实时
流
,其中Kafka是消息队列。我正在申请120秒
的
EventTimeSlidingWindow。滑动1秒。我还在事件时间
的
每一秒插入水印。我担心
的
是,如果元素会在水印之后延迟出现,会发生什么?现在在我
的
情况下,
Flink
简单地丢弃了它各自
的
水印之后
的
消息。filnk是否提供了任何机制来处理这种延迟消息,比如维护单独
的
窗口?
浏览 19
提问于2017-01-19
得票数 3
回答已采纳
2
回答
卡夫卡-> DataStream -> MongoDB
mongodb
、
hadoop
、
apache-kafka
、
apache-flink
我想设置
Flink
,这样它就可以将数据
流
从Apache转换并重定向到MongoDB。出于测试目的,我构建在
flink
流
-Connectors.kafka示例()之上。卡夫卡
流
是正确红色
的
链接,我可以映射他们等,但问题发生时,我想保存每一个接收和转换
的
信息到MongoDB。我发现
的
关于MongoDB集成
的
唯一例子是来自github
的
flink
-mongodb测试。不幸
的
是,它使用<e
浏览 3
提问于2016-02-02
得票数 11
回答已采纳
1
回答
Flink
数据存储-使用windows处理文件
中
的
数据
flink-streaming
我正在学习
Flink
框架,并处理一个
流
作业,它将从csv文件
中
读取数据,并使用DataStream API执行一些聚合。数据字段包括城市、州代码、人口值。数据将由州代码和计算出
的
每个密钥
的
总数之和来确定。
输出
将采用这样
的
格式:(州代码,人口之和)。 我当前
的
实现在KeyedStream上使用了一个减少
函数
来聚合总体。这给了我对每个键
的
滚动减少。我只想打印每把钥匙
的
最后一笔钱。我
的
不
浏览 2
提问于2021-12-08
得票数 0
1
回答
Apache
flink
从late window访问键控状态
apache-flink
、
flink-streaming
我正在编写一个
Flink
应用程序,它使用kafka主题中
的
时间序列数据。时间序列数据包含指标名称、标记键值对、时间戳和值等组件。我已经创建了一个滚动窗口,用于根据指标键(指标名称、键值对和时间戳
的
组合)聚合数据。我正在考虑使用
flink
的
"allowedLateness“功能将延迟指标发送到
不同
的
流
。我计划在主"Aggregate the data“操作符
中
添加一个"MapState”,它将键作为度量关键
浏览 17
提问于2021-08-09
得票数 0
回答已采纳
1
回答
Apache在错误
的
时间发射
java
、
scala
、
apache-flink
、
apache-kafka-streams
但我
的
过程是以奇怪
的
间隔开火。 我在窗口前申请keyBy,我
的
钥匙就像A,B,C。 KafkaSource<Event> source = KafkaSource.
浏览 2
提问于2022-05-10
得票数 0
2
回答
Flink
的
嵌套
输出
apache-kafka
、
apache-flink
、
flink-streaming
、
flink-sql
我正在使用
Flink
SQL处理Kafka
流
,其中每条消息都是从kafka中提取
的
,使用
flink
sql处理,然后推回到Kafka
中
。我想要一个嵌套
的
输出
,其中输入是扁平
的
,
输出
是嵌套
的
。例如,我
的
输入是 {'StudentName':'ABC','StudentAge':33} 并希望
输出
为 {'Studen
浏览 56
提问于2019-01-04
得票数 0
1
回答
如何在Kubernetes上
的
Flink
(scala)
中
记录自定义flatMap
函数
?
scala
、
logging
、
apache-flink
、
flink-streaming
我正在对
Flink
中
的
DataStream应用一个自定义
的
flatMap
函数
,并希望记录在我
的
flatMap
函数
中
可能发生
的
异常。
Flink
作业是在Kubernetes上部署和运行
的
,所以我认为我不能只写一些日志文件,然后手动访问它们。我可能只能通过web浏览器访问
Flink
管理器。那么,如何将异常
输出
到stdout或一些错误/日志
流
,
浏览 0
提问于2019-04-05
得票数 0
1
回答
Flink
-数据集-
Flink
能尊重多个
流
/输入
的
处理顺序吗?
apache-flink
、
flink-sql
在我
的
Flink
批处理程序(DataSet / Table )
中
,我正在读取多个文件,这将产生
不同
的
流
,进行一些处理,并以
输出
格式保存它 由于
flink
使用
的
是数据
流
模型,而且我
的
流
并不是真正相关
的
,所以它是并行处理
的
但是我希望
Flink
至少尊重
输出
操作
的
顺序,因为我希望flow1保
浏览 0
提问于2018-08-09
得票数 0
回答已采纳
1
回答
为事件时间戳设置WatermarkStrategy
java
、
apache-flink
我试图对包含
Flink
中
40多个属性
的
数据
流
执行
加
窗聚合查询。
流
的
模式包含一个划时代
的
时间戳,我想将它用于WatermarkStrategy,这样我就可以在它上面定义翻滚
的
窗口。据我所知,这只有通过为KafkaSourceBuilder提供反序列化器并调用从原型文件派生
的
带有
protoc
的
类上
的
流
的
results
函数</
浏览 29
提问于2022-08-09
得票数 0
2
回答
如何在
Flink
转换
中
更新配置?
java
、
configuration
、
apache-flink
、
flink-streaming
、
distributed-system
给定一个
Flink
流
作业,该作业将map()操作应用于
流
。因此,我正在寻找一种方式,让所有的
Flink
任务重新阅读一个新
的
配置在运行时。有没有可能 将KafkaSourcewait挂起,直
浏览 13
提问于2022-10-11
得票数 0
1
回答
如何在apache-
flink
中
实现groupByUntil?
apache-flink
允许按键对元素进行分组,并在特定事件或时间间隔(即,来自RxJS
的
描述)之后将其移除。 正如我所看到
的
,apache-
flink
没有这样
的
开箱即用功能。谁能解释一下如何在apache-
flink
中
实现这样
的
功能?
浏览 0
提问于2015-11-25
得票数 1
1
回答
如何理解
Flink
中
的
流
表?
hadoop
、
apache-flink
、
flink-streaming
、
flink-sql
对我来说,很难理解
Flink
中
的
流
表。我可以理解Hive,将一个固定
的
静态数据文件映射到一个“表”,但是如何体现一个建立在
流
数据之上
的
表呢?例如,每1秒就有5个具有相同结构
的
事件被发送到Kafka
流
:{"num":2, "value": "b"} ....构建在它们
浏览 2
提问于2020-10-29
得票数 0
回答已采纳
1
回答
Flink
:使用允许
的
延迟时清除Windows元数据
apache-flink
、
flink-streaming
在允许
的
延迟期结束之前,我如何‘摆脱’窗口元数据(WindowOperator和InternalTimer)?目前使用
Flink
-v1.6,我们正在使用事件-时间窗口,并处理具有唯一键
的
大量事件。95%
的
事件不会迟到,只会触发一次。 我们
的
工作被设定为允许迟到72小时。我们使用fire & purge,但允
浏览 10
提问于2019-08-19
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Flink 的 CEP(Complex Event Processing)是什么?
flink handbook-flink数据流编程模型
走进大数据 Spark Streaming VS Flink
如何基于 Flink 生成在线机器学习的样本?
Apache Flink 1.10.0 重磅发布,年度最大规模版本升级
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券