腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
我们
可以
将
KStream
与
Flink
一起
使用
吗
?
apache-kafka
、
microservices
、
apache-flink
、
apache-kafka-streams
、
flink-streaming
我在一个微服务架构中
使用
flink
streams
将
数据从服务ETL到报告和搜索数据库。为了感知数据变化,我目前正在为RMQ生成自定义事件,然后
使用
streams根据报告和搜索需求对数据进行分区、聚合和转换。 我迁移到kafka作为代理和debezium,从所有微服务的数据库中获取数据。我想知道我是否
可以
使用
KStreams应用程序接口或
flink
,或者是否有任何可能性
将
两者结合起来。
浏览 14
提问于2019-01-24
得票数 1
1
回答
带有Apache
Flink
1.5的Apache Bean 2.4.0
apache-flink
、
apache-beam
有没有一个地方
我们
可以
快速参考和查看Apache beam和运行时环境(
Flink
,Spark等)之间的版本兼容性。我正在以一种艰难的方式学习它:我不确定我的问题有多少是由版本错误造成的。目前我
使用
的是光束2.4.0,看看
flink
runner pom (),它
使用
的是
flink
1.4.0 jars。所以我假设Apache beam 2.4.0
可以
与
Apache
Flink
1.4.0
一起
工作。
浏览 0
提问于2018-06-14
得票数 0
1
回答
如何从Apache配置仪表板中隐藏敏感配置数据?
java
、
apache-flink
我们
开始
使用
Apache进行数据流处理。它处理数据,然后更新接收器中的数据库。
我们
将
数据库端点/凭据配置为
Flink
配置数据(因为
我们
有标准dev/test/prod设置),但不幸的是,密码/api-键
与
所有其他配置数据
一起
以明文形式显示在
Flink
配置仪表板中。是否有一种配置
flink
的方法,以便java代码仍然
可以
通过 (或类似的)访问敏感密码信息,但敏感
浏览 0
提问于2019-09-10
得票数 2
1
回答
使用
当前版本的AWS EMR运行
Flink
1.5.1 (
使用
1.5.0)
amazon-web-services
、
apache-flink
、
amazon-emr
Flink
1.5.0有一个已在1.5.1中修复的错误。
我们
希望
将
1.5.1
与
EMR
一起
使用
,但最新版本(emr-5.16.0)只有
flink
1.5.0选项。有没有办法让我在这个版本的EMR中
使用
1.5.1?
浏览 48
提问于2018-08-10
得票数 1
回答已采纳
1
回答
Kafka流KTable changelog TTL
apache-kafka
、
apache-kafka-streams
、
rocksdb
假设我
将
A-Event
KStream
聚合为A-Snapshot KTable,
将
B-Event
KStream
聚合为B-Snapshot KTable。此时,
我们
可以
假设
我们
有一个持久化的kafka主题和一个rocksDB本地存储库,用于A-KTable和B-KTable聚合。然后,我的拓扑将与A-KTable
一起
使用
B-KTable来生成一个连接的AB-
KStream
。假设A-Event主题和B-Event主题保
浏览 1
提问于2019-05-21
得票数 0
回答已采纳
1
回答
卡夫卡流左加入不产生所需的结果。
apache-kafka
、
apache-kafka-streams
我有一个带有
KStream
的userClick,并且
使用
userID作为密钥,也有一个包含用户详细信息的KTable,也
使用
userID作为密钥。
KStream
和KTable都有一定数量的分区,
使用
相同的分区策略和
使用
相同的键。 当我在这两个单击事件之间
使用
左联接时,大多数单击事件
与
用户详细信息不匹配,有一些匹配。在加入GlobalKTable和
KStream
时
使用
KeyValueMapper是否解决了
KSt
浏览 0
提问于2020-03-09
得票数 0
1
回答
Fllnk作业管理器下载/tmp目录中的jar文件
apache-flink
、
flink-streaming
几天前,
我们
检测到
flink
在硬盘中占用了太多的空间,并对它们进行了探索,
我们
在作业管理器容器上的/tmp目录中找到了许多(大约1000)个/tmp文件。3183563526079495551lib_org.eclipse.paho.client.mqttv3-1.1.0.jar1798263280_2346102789822957064lib_com.google.protobuf_2.6.0.jar 在此菜单中,
flink
浏览 4
提问于2022-03-29
得票数 2
1
回答
kafka streams +如何异步终止状态存储中的条目
apache-kafka
、
apache-kafka-streams
我有一个kafka streams拓扑,它从输入主题读取,更新一些状态,并确定状态条目是否需要保留在状态存储中,或者
可以
删除。如果它
可以
被删除,它将被删除,否则我有一个标点符号,它每10秒运行一次,并使状态存储中的项过期。感谢你的帮助。
浏览 10
提问于2020-02-08
得票数 2
1
回答
输出主题总是必须手动为kafka流创建
吗
?
apache-kafka
、
apache-kafka-streams
KStream
<String, String>
kstream
= builder.stream("input-topic");已经创建了“输入我没有创建“输出主题”,似乎"
Kstream
“和其他内部主题
一起
为我创建了一个主题。此外,在"to“函数的javadoc中看到了这一点,指定的主题应该在
使用
之前手动创建(即在Kafka流应用程序启动之前。 所以我的问题
浏览 0
提问于2021-10-16
得票数 0
回答已采纳
1
回答
定制窗口商店在
KStream
-
KStream
join中的实现
apache-kafka
、
apache-kafka-streams
我们
需要
使用
一个非常大的窗口执行
Kstream
-
Kstream
连接,其中左侧的勾号只会触发
与
右侧最新记录的连接,反之亦然。这不是默认窗口的工作方式,因为window.fetch在KStreamKStreamJoinProcessor中返回的WindowStoreIterator<V>是一个迭代器,
可以
包含多条记录。特别是,
我们
注意到RockDBWindowStore的retainDuplicates属性设置为true,
我们
希望将其设置为
浏览 1
提问于2018-05-23
得票数 0
1
回答
KTable初始化和持久性
apache-kafka
、
spark-streaming
、
apache-kafka-streams
、
event-driven
我正在学习
使用
Apache的事件驱动架构和流系统。我了解了事件源和CQRS,并有一些关于实现的基本问题。我知道卡夫卡有一个持久化的状态存储
可以
维护所需的状态,但是我能像卡桑德拉表一样依赖它
吗
浏览 7
提问于2022-09-12
得票数 0
回答已采纳
1
回答
kafka客户端版本0.10能与kafka服务器版本2.1.1
一起
工作
吗
?
apache-kafka
我们
有
使用
Kafka 2.1.1的Kafka集群,
我们
正在
使用
Flink
内置的Kafka连接器(客户端),即
使用
0.10。我想问一下,Kafka客户端版本0.10是否
可以
与
Kafka服务器版本2.1.1
一起
工作? 谢谢!
浏览 2
提问于2019-10-09
得票数 0
回答已采纳
2
回答
如何管理Kafka
KStream
到
Kstream
的窗口连接?
apache-kafka
、
apache-kafka-streams
基于
KStream
-to-
KStream
Joins are always windowed joins,我的问题是如何控制窗口的大小?在主题上保存数据的大小相同
吗
?或者,例如,
我们
可以
将
数据保留一个月,但只在过去一周加入流? 有没有什么好的例子来展示开窗口的
KStream
- to -
kStream
窗口连接?在我的例子中,假设我有2个
KStream
,
kstream
1和
kstream
2,我希望能够加
浏览 1
提问于2017-01-18
得票数 9
回答已采纳
2
回答
我们
能用
Kstream
和火花流
一起
使用
吗
?
apache-spark
、
apache-kafka
、
spark-streaming
、
apache-kafka-streams
我们
能用
Kstream
和火花
吗
? 这是一种推荐的方法,还是
使用
火花流是一个更好的解决方案?
浏览 1
提问于2021-10-18
得票数 0
回答已采纳
1
回答
Apache :动态更改
使用
者主题
apache-kafka
、
apache-flink
、
amazon-kinesis
我们
正在构建一个
flink
应用程序,它将部署到AWS动态数据分析(KDA)中。这个应用程序将
使用
卡夫卡并写入S3。
我们
的设置如下:
我们
有一个Kafka引导服务器(MSK)
与
几个主题。
我们
将将其存储在一个配置系统(比如CRUD应用程序)中,并且每个
Flink
应用程序在其活动时,都应该能够根据其名称查看它应该
使用
的主题。(这部分
我们
可以
做)。
我们
希望
Flink
应
浏览 7
提问于2021-12-07
得票数 1
回答已采纳
1
回答
Flink
状态后端密钥的原子性和分布
apache-flink
在阅读了
flink
文档(以下相关部分)之后,我仍然不完全理解原子性和密钥分布。例如,考虑一个由keyby->平面映射(包含映射状态)组成的图,并将并行性设置为具有4个任务槽的1,
flink
是否确保每个键在分布式环境中只存在一次(在一个任务槽中),它是原子单元
吗
?您
可以
将
键控状态视为已分区或分块的运算符状态,每个键只
使用
一个状态分区。每个键状态在逻辑上都绑定到<parallel-operator-instance, key>的唯一组合中,而且由于每个键“属于”一个键控操作
浏览 4
提问于2017-08-17
得票数 1
回答已采纳
4
回答
我们
可以
将
案例
与
EXEC
一起
使用
吗
sql-server
、
case-when
CASE @InputParam WHEN 'TABLE' THEN GetTableData @ID, 'y'这
可以
用CASE实现
吗
?或者我应该考虑
使用
If构造
吗
?
浏览 0
提问于2012-04-13
得票数 8
回答已采纳
1
回答
卡夫卡流中具有特定起点的数据再处理
apache-kafka
、
apache-kafka-streams
有一个很好的工具,
可以
通过重置流应用程序来重新处理数据:。 在
KStream
中有可用的检查点类型的机制
吗</em
浏览 3
提问于2017-12-13
得票数 0
2
回答
需要将
FLINK
-hadoop兼容性-2.10 jar显式复制到EMR集群上的${
FLINK
-HOME}/lib位置
maven
、
hadoop
、
apache-flink
我目前正在开发一个
Flink
应用程序,它
使用
一些Hadoop依赖项
将
数据写入S3位置。在本地环境中,它工作正常,但是当我在EMR集群上部署这个
Flink
应用程序时,它会抛出一个
与
兼容性问题相关的异常。我
使用
的
Flink
版本是1.2.0 但是,当我显式地
将
兼容性JAR复制到${
FLINK
-HOME}/lib位置时,我不会得到任何异常,并且能够成功地运行
Flink
应用程序。
我们
有任何方法<em
浏览 0
提问于2018-02-08
得票数 3
回答已采纳
1
回答
未找到"org.apache.
flink
.streaming.api.operators.MailboxExecutor“类
apache-flink
、
flink-streaming
、
flink-sql
、
apache-hudi
当我
使用
Hudi0.10.1和
flink
1.14.0时,我得到了一个异常“not org.apache.
flink
.streaming.api.operators.MailboxExecutor”“ 我发现
与
flink
1.14的复杂?
浏览 10
提问于2022-03-22
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Heron:来自Twitter的新一代流处理引擎应用篇
Flink CDC 与 Debezium 有何关系?
Kafka Streams与Quarkus:实时处理事件
Flink创始团队二次创业再被收购,Kafka母公司与阿里“遭遇战”已经开始
Flink在AI流程中的应用
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券