腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Apacheflink
的
DataStream
应用
程序接口
如何
支持
事件
批处理
apache-flink
、
data-stream
我
的
生产者是apache Kafka,我们想要监听一批
事件
来处理它们,并将处理后
的
事件
写入数据库。如果我使用流/
批处理
,每个
事件
都会命中一个对DB
的
查询。我不想把每个
事件
都作为一个查询来处理。
如何
批量处理一些
事件
并将这些批量数据写入DB? 注意:我们使用
的
是
DataStream
接口
浏览 44
提问于2021-04-28
得票数 0
1
回答
flink是否为数据集
批处理
提供检查点
java
、
apache-flink
如何
为flink
批处理
配置检查点。我有兴趣知道检查指针是
如何
在内部工作
的
。由于检查点每隔一段时间就会发生,如果作业在下一个点之前失败,那么如果它重新启动也不会有任何重复处理。flink是否检查每个操作员、接收器和源
的
检查点?
浏览 26
提问于2020-05-10
得票数 0
回答已采纳
1
回答
Flink数据集api交付保证和检查点
apache-flink
Flink文档提到数据流api
的
交付保证只有一次或至少一次,但是,我没有发现数据集api
的
相同参考。是否保证消息只传递给数据集中
的
所有转换一次;此外,在没有检查点机制
的
情况下,唯一
的
逻辑方法是从头开始执行作业? 是否可以使用数据流api进行
批处理
作业,会有什么损失?
浏览 0
提问于2017-10-22
得票数 0
1
回答
Apache Flink中
DataStream
与Table API
的
区别
apache-flink
、
flink-streaming
、
flink-sql
我是Apache Flink
的
新手,我想了解
DataStream
和Table API之间
的
用例。请您帮我了解一下,什么时候选择Table接口而不是
DataStream
接口。据我所知,用Table API可以做
的
事情,也可以用
DataStream
API来做。这两个API有什么不同?
浏览 14
提问于2018-08-01
得票数 2
回答已采纳
1
回答
如何
对flink表而不是流执行setParallelism
apache-flink
就像标题一样,当我只在我
的
流
应用
程序中使用
DataStream
应用
程序接口
时,我使用了很多setParallelism。最近我发现在我
的
场景中使用表API更好,因为它可以统一
批处理
/流
应用
程序,这些
应用
程序通常必须是两个不同
的
,只使用不同
的
dataset/数据流API就可以节省大量重复
的
代码。但是当我尝试将我
的
流
应用
程序移植到
浏览 11
提问于2019-09-02
得票数 0
1
回答
Apache Flink中
的
流预测
scala
、
apache-flink
、
flink-streaming
、
flinkml
是否可以使用已经批量训练
的
模型在Apache Flink中对
dataStream
进行预测?val svm2 =
支持
向量机()svm2.fit(trainLV) val testVD = testLV.map(lv => (lv.vector,lv.labe
浏览 2
提问于2018-07-19
得票数 1
1
回答
RuntimeExecutionMode和ExecutionMode有什么不同
apache-flink
当我阅读StreamExecutionEnvironment
的
代码时,我发现关于ExecutionMode有两个类,即RuntimeExecutionMode和ExecutionMode。
浏览 0
提问于2021-07-11
得票数 0
1
回答
PyFlink数据流API对窗口
的
支持
apache-flink
、
pyflink
Apache Flink
的
Python SDK (PyFlink)数据流API
支持
像窗口这样
的
操作符吗?到目前为止,我所见过
的
使用PyFlink进行窗口操作
的
所有示例都使用了Table API。
Datastream
API确实
支持
这些操作符,但看起来还不能通过PyFlink使用这些操作符? 谢谢!
浏览 25
提问于2021-03-21
得票数 0
回答已采纳
1
回答
Flink :处理数据早于
应用
程序水印
的
键控流
apache-flink
、
flink-streaming
、
watermark
我使用
的
是Flink和一个动态源和
事件
时间键控窗口。
应用
程序将监听实时数据流,开窗口(
事件
时间窗口)并处理每个键控流。我还有另一个用例,在这个用例中,我还需要能够
支持
回填某些密钥流
的
旧数据(这些将是带有event-time 考虑到我使用
的
是水印,这可能是一个问题,因为Flink不
支持
每个密钥
的
水印。因此,任何用于回填
的
键控流最终都将被忽略,因为此流
的
事件
时间将是实况流维护
浏览 18
提问于2021-11-01
得票数 1
1
回答
如何
在使用Apache Flink进行字数统计时避免重复
的
键元组
java
、
apache-flink
、
word-count
我正在学习
如何
使用Apache Flink编写一个简单
的
单词统计程序。aaba输出:(a,2)(aaa,1)(ab, 1)(a,3)(ab, 1) final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
DataS
浏览 0
提问于2019-11-13
得票数 1
1
回答
如何
将数据保存在内存中以动态查询下一个数据输入Apache Flink
apache-flink
我正在用
DataStream
应用
程序接口
在Flink中做时间序列数据分析。每50个
事件
(数据收入),我想用它们进行转换,保存结果,并将其与下50个
事件
的
转换结果进行比较。以此类推。我
的
问题是,在进行转换后,在Flink中有没有一种方法来保存结果,并查询下一个50个
事件
的
下一个转换,以及之前
的
结果?
浏览 0
提问于2020-03-18
得票数 0
1
回答
为什么Flink流不
支持
左联接表达式?
flink-streaming
Flink流
支持
内部连接表达式,如window- join,interval-join.但不
支持
左联接/完全联接表达式。当然,窗口-cogroup表达式可以实现相同
的
语义,即使
事件
立即加入,也必须等待完全窗口大小
的
时间。我
的
问题是:
如何
从设计角度解释Flink流不
支持
左连接/完全连接表示?
如何
通过Flink
DataStream
API (如果能够立即转发连接
事件
)来实现它?是
浏览 3
提问于2021-08-15
得票数 0
回答已采纳
1
回答
如何
使用Flink仅对数据流
的
每一层中计算出
的
数量
的
最新值求和?
sum
、
grouping
、
apache-flink
、
data-stream
我在Flink中使用keyBy()按特定属性(国家)对这些值进行分组,因此对于每个不同
的
国家,我都有一组不同
的
元组(层)。我计算数据流中每个组(层)
的
均值和方差,并返回每个层
的
数量均值/方差(μ/σ)。在我
的
Flink程序中,当我
的
算法运行时,我需要将这个量
的
所有最后值(均值/方差)相加,即来自每一层
的
最新值。换句话说,如果从每一层得到一个数量γ(均值/方差),我想要对每一层中计算γ所得到
的
γ<
浏览 3
提问于2020-02-19
得票数 0
1
回答
使用CrudRepository
支持
Cassandra
批处理
操作
cassandra
、
spring-data-cassandra
我知道cassandra不
支持
事务管理,但它确实
支持
可以像事务一样使用
的
批处理
操作(要么都成功,要么都不成功)。类似地,cassandra
的
spring-data提供了CassandraTemplate,后者提供了batchOps来
支持
这个
批处理
特性。我想知道是否有类似的东西可用于CrudRepository (内部使用CassandraTemplate
的
高级
应用
程序接口
)。
浏览 4
提问于2018-02-17
得票数 0
1
回答
在Flink Streaming中按键对记录进行分组并收集到ListBuffer中
apache-flink
、
flink-streaming
我有一个
DataStream
[(String, somecaseclass)]类型
的
Flink
DataStream
。我想对Tuple
的
第一个字段String进行分组,并创建一个ListBuffer[somecaseclass]。以下是我尝试过
的
方法:inputstream .fold(emptylistbuffer我检查了Flink
DataStream
浏览 12
提问于2017-12-28
得票数 3
回答已采纳
2
回答
在Flink中,为什么
DataStream
不
支持
聚合
apache-flink
、
flink-streaming
我是Flink
的
新手。有时,我想在不需要先做keyBy
的
情况下在
DataStream
上进行聚合。为什么Flink不
支持
聚合(sum、min、max等)在
DataStream
上? 谢谢你艾哈迈德
浏览 1
提问于2021-03-16
得票数 1
1
回答
Flink:
如何
在flink中处理外部
应用
程序配置更改
apache-flink
、
flink-streaming
、
flink-cep
我
的
需求是在一天内流式传输数百万条记录,并且它对外部配置参数有很大
的
依赖性。例如,用户可以随时在web
应用
程序中更改所需
的
设置,并且在进行更改后,必须使用新
的
应用
程序配置参数进行流式传输。这些是
应用
程序级别的配置,我们还有一些动态排除参数,每个数据都必须通过这些参数并进行过滤。 我发现flink没有全局状态,所有任务管理器和子任务都共享全局状态。请建议更好
的
方法来处理这些场景,以及其他
应用
程序是
如何
处理它
的<
浏览 15
提问于2016-09-26
得票数 9
回答已采纳
1
回答
Apache
如何
处理扭曲
的
数据?
apache-flink
问题是这些词是不正确
的
。这意味着有些词
的
频率会很高,但大多数其他单词
的
频率很低。在风暴中,我们可以用以下方法来解决这个问题。从我
的
另一个中,我知道Flink只
支持
键控流上
的
窗口,否则窗口操作将不是并行
的
。
浏览 2
提问于2016-01-08
得票数 6
回答已采纳
1
回答
亚马逊EventBridge PutEvents节流
amazon-web-services
、
event-sourcing
、
event-driven
、
aws-event-bridge
我计划在我
的
应用
程序中使用亚马逊EventBridge。我看到活动被限制在特定
的
配额之外。虽然它在100s到1000s
的
范围内,但我不喜欢丢失
事件
,并主动添加更多
的
总线来处理高速
事件
。从
应用
程序接口
中,我看到PutEvents抛出了一个500作为异常https://docs.aws.amazon.com/eventbridge/latest/APIReference/API_
浏览 18
提问于2020-08-21
得票数 0
回答已采纳
1
回答
Flink:
支持
多个执行环境吗?
join
、
apache-flink
、
environment
、
flink-streaming
更具体地说,在相同
的
主方法中创建一个ExecutionEnvironment和一个StreamExecutionEnvironment,这样就可以处理
批处理
,然后再传输到流,而不会出现问题?我猜另一种可能是将程序分成两部分,但为了我
的
测试目的,这似乎更好。Flink为这种情况做好准备了吗?,其中我只返回System.currentTimeMillis()作为每个记录
的
时间戳。因为它完成
的
非常快,这两个流应该适合在1秒
的
窗口,不是吗?两个流都在连接之前打印得很好。如果有人感兴趣,我可以尝试
浏览 6
提问于2019-10-10
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Flink基础教程(二):初探Flink
flink handbook-flink数据流编程模型
官宣:Apache Flink 1.14.0 发布
抛弃Spark?Flink会是下一代大数据计算引擎吗?
Flink 的基本概念是什么?
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券