腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1053)
视频
沙龙
1
回答
如何
捕获
不符合
kafka
流
加入
条件
的
kafka
记录
?
join
、
apache-kafka
、
apache-kafka-streams
kstream包含车辆发送
的
消息,ktable包含车辆数据。我遇到
的
问题是,我想从
流
中
捕获
在表中没有相应联接键
的
消息。
Kafka
流会静默跳过没有连接匹配
的
记录
。有没有什么方法可以将这些
记录
发送到不同
的
主题,以便稍后处理它们?
浏览 12
提问于2019-06-20
得票数 1
回答已采纳
1
回答
KStream-KStream联接与KStream-KTable联接性能
apache-kafka
、
apache-kafka-streams
我有一个
Kafka
流
应用程序,它从几个主题中获取数据,并将数据
加入
到另一个主题中。
Kafka
配置:
Kafka
Topics - 15 partitions and 3 replication factor. 在性能和其他因素方面哪个更好?
浏览 2
提问于2017-09-14
得票数 0
1
回答
Spring
Kafka
JDBC连接器兼容性
spring-boot
、
spring-kafka
、
apache-kafka-connect
、
confluent-platform
Kafka
JDBC connect兼容Spring-
Kafka
库吗? 我确实关注了,但仍然有一些困惑。
浏览 4
提问于2020-07-04
得票数 0
2
回答
我能在卡夫卡经纪人
的
同一台机器上运行
Kafka
流
应用程序吗?
apache-kafka
、
kafka-consumer-api
、
kafka-producer-api
、
apache-kafka-streams
我有一个
Kafka
流
应用程序,它从几个主题中获取数据,并将数据
加入
到另一个主题中。
Kafka
配置:
Kafka
Topics - 15 partitions and 3 replication factor.注:我在卡夫卡经纪人运行
的
同一台机器上运行卡夫卡
流
应用程序。 每小时消耗/产生数以百万计
的
记录
。每当我把任何卡夫卡经纪人打倒,它就进入再平衡,它需要大约。30分钟,有时甚
浏览 0
提问于2017-09-12
得票数 2
1
回答
Kafka
源JDBC连接器-微批处理
jdbc
、
apache-kafka
、
apache-kafka-connect
作为POC
的
一部分,我有一个任务,它基本上读取MySQL表
的
所有内容,并将
记录
转储到一个
Kafka
主题中。 该表仅包含2条
记录
&我
的
batch.max.rows值为2。当任务以"bulk“模式运行时,我在
kafka
主题中看到了2条单独
的
JSON
记录
。
如何
配置连接器以插入包含这2条
记录
的
JSON数组
的
1条JSON
记录
。最终没有。向
浏览 0
提问于2021-01-06
得票数 1
回答已采纳
1
回答
Apache和
Kafka
流在上有什么区别?
apache-kafka
、
spring-cloud
在Spring网站()中,列出了要使用
的
绑定选项。我们有阿帕奇卡夫卡和卡夫卡
流
选项。 ,他们之间有什么区别?,为了什么目的,我们应该在这两者之间做出选择?
浏览 3
提问于2021-06-18
得票数 0
回答已采纳
2
回答
使用
Kafka
、Storm和HBase进行实时处理
hbase
、
apache-kafka
、
apache-storm
为我
的
无知道歉。 我们正在建立一个实时数据库,
捕获
基于网站上
的
成员活动
的
记录
。发出这些信息
的
应用程序是IBM MQ。我们计划将Apache
Kafka
设置为使用来自IBM MQ
的
这些消息,并将其存储在HBase for Analytics中。
Kafka
有没有可能直接将这些信息写入HBase,或者我们应该在
Kafka
和HBase之间设置一个像Apache Storm这样
的
实时
流
引擎?
浏览 1
提问于2015-06-25
得票数 1
1
回答
如何
将杜比生成
的
FS2
流
发布给卡夫卡
scala
、
apache-kafka
、
fs2
、
doobie
我想在
Kafka
中发布一个很长
的
事件列表,使用一个fs2.Stream,它对应于一个非常大
的
DB行列表,如果编译为List,最终会导致内存错误。因此,假设我有一个非常大
的
UUID密钥列表,其中包含数百万条
记录
:我想用这个发布者将一个事件发布到
Kafka
,对应500个键: d
浏览 6
提问于2021-01-17
得票数 0
回答已采纳
1
回答
为什么流连接卡夫卡主题
的
查询要花这么长时间?
scala
、
apache-spark
、
spark-structured-streaming
我使用星火结构
流
和连接两个来自卡夫卡主题
的
流
。我注意到,
流
查询对于每条
记录
大约需要15秒。在下面的截图中,阶段id 2需要15s。为什么会这样? .readStream .option("
kafka
.bootstrap.servers", bootstrapServerkafkaTopic1) .opt
浏览 1
提问于2018-11-27
得票数 1
回答已采纳
2
回答
如何
将数据从蜂箱导出到卡夫卡
apache-spark
、
hive
、
apache-kafka
我需要将数据从Hive导出到
Kafka
主题,基于另一个
Kafka
主题中
的
一些事件。我知道我可以用HQL从火星之工中读取蜂巢
的
数据,并将它从星火中写入卡夫卡,但是有更好
的
方法吗?
浏览 0
提问于2019-01-15
得票数 0
回答已采纳
1
回答
是否可以用卡夫卡连接来“插入”卡夫卡
的
信息?
jdbc
、
apache-kafka
、
upsert
、
apache-kafka-connect
、
confluent-platform
我使用
的
是合流3.3.0。我使用jdbc-source-connector将消息插入到我
的
Oracle表中
的
Kafka
中。这个很好用。我桌子
的</em
浏览 1
提问于2018-08-01
得票数 0
1
回答
卡夫卡
流
启动问题- org.apache.
kafka
.streams.errors.LockException
apache-kafka
、
kafka-consumer-api
、
apache-kafka-streams
我有一个卡夫卡
流
应用程序版本- 0.11,它从几个主题中获取数据,并将数据
加入
到另一个主题中。每小时消耗/产生数以百万计
的
记录
。jira问题上读到,cleaningUp
流
可能有助于解决这个问题。但是每次我们启动cleaningUp
流
时,卡夫卡
流
应用程序是一个正确
的
解决方案还是补丁?另外,
流
cleanUp会延迟应用程序
的
启动,对吗?注意:每次启动卡夫卡
流
应用程序时,在调用streams.st
浏览 4
提问于2017-09-13
得票数 0
1
回答
KTable初始化和持久性
apache-kafka
、
spark-streaming
、
apache-kafka-streams
、
event-driven
假设我们通过一个微服务在系统中插入一个新
的
驱动程序,它将数据推送到Cassandra表中,然后通过更改数据
捕获
到KTable主题。既然卡夫卡主题有一个与它们相关
的
TTL,我们
如何
确保驱动
记录
不被删除? 我知道卡夫卡有一个持久化
的
状态存储可以维护所需
的
状态,但是我能像卡桑德拉表一样依赖它吗?有尺寸consideration?吗?如果整个应用程序以及所有
kafka
代理和消费者节点都被终止,那么应用程序能否重新启动而不会丢失KTable?中
的</em
浏览 7
提问于2022-09-12
得票数 0
回答已采纳
1
回答
用于同步数据库表
的
Apache /Streams API
java-8
、
apache-kafka-streams
、
apache-kafka-connect
我正在阅读Connect API上
的
Kafka
文档,并试图将其与我
的
问题域联系起来。我有多个数据库,其中有公共表,我需要在任何更新/插入/删除时同步这些表。2)有人将
记录
插入到"purchase_order“中--我希望将插入传递给DB2/DB3等,以便在那些DB2/DB3等中进行相同
的
插入。 3)表将出现在所有DBs中,因此不存在缺少
的
表问题。这些只能在一组特定
的
表上完成,而不是整个数据库。我从Connect API文
浏览 2
提问于2017-09-11
得票数 0
2
回答
何时卡夫卡连接器优先于星火
流
解决方案?
apache-spark
、
apache-kafka
、
apache-kafka-connect
、
spark-structured-streaming
通过星火
流
,我可以读取卡夫卡消息并将数据写入到不同类型
的
表中,例如HBase、Hive和Kudu。但这也可以通过为这些表使用
Kafka
连接器来实现。我
的
问题是,在哪种情况下,我更喜欢连接器而不是星火
流
解决方案。 同样,卡夫卡连接器解决方案有多宽容?我们知道,通过星火
流
,我们可以使用运行在多个节点上
的
检查点和执行器来进行容错执行,但是
如何
使用
Kafka
连接器实现容错(如果可能的话)呢?通过在多个节点上运行连接器?
浏览 3
提问于2020-06-04
得票数 7
回答已采纳
2
回答
使用
Kafka
Connect构建数据转换服务
apache-kafka
、
apache-kafka-connect
卡夫卡
流
是好
的
,但我必须做每一个配置非常手动。相反,
Kafka
提供了它
的
API接口,它对于处理配置以及任务、工作人员等都非常有用。 因此,我正在考虑在我
的
简单数据转换服务中使用
Kafka
。基本上,服务将从一个主题读取数据,并将转换后
的
数据发送到另一个主题。为了做到这一点,我必须做一个定制
的
Sink连接器,将转换后
的
数据发送到
kafka
主题,但是,这些接口函数似乎在SinkConnector中不可用。在我
的</
浏览 11
提问于2021-04-26
得票数 0
4
回答
sed或Perl一行程序+
如何
在完全匹配时替换文件中
的
路径
perl
、
awk
、
sed
我们希望替换/etc/fstab文件上
的
路径调至(预期产出)我们编写
的
sed语法是 sed s'/\/var\/
kafka
浏览 6
提问于2021-06-14
得票数 1
回答已采纳
1
回答
我们能从历史数据中创建
kafka
时间窗口
流
吗?
apache-kafka
、
apache-kafka-streams
我有一些历史数据,每条
记录
都有自己
的
时间戳。我想阅读它们并将它们输入到
kafka
主题中,并使用
kafka
流
以时间窗口
的
方式对它们进行处理。现在
的
问题是,当我创建
kafka
流
时间窗口聚合处理器时,我
如何
告诉
kafka
使用
记录
中
的
时间戳字段来创建时间窗口,而不是实际
的
实时时间?
浏览 9
提问于2018-02-19
得票数 3
回答已采纳
2
回答
如何
定期向hadoop提供数据
mysql
、
hadoop
我
的
公司每天产生大约600万条
记录
,我看到hadoop是处理大量数据
的
一个很好
的
解决方案。我发现了
如何
从mysql加载数据,但它正在导出完整
的
数据库,有没有办法保持我
的
mysql DB和Hadoop之间
的
数据同步?
浏览 2
提问于2020-03-07
得票数 1
1
回答
Oozie中
的
MapReduce作业可以从文件中读取吗?
hadoop
、
mapreduce
、
oozie
当在Oozie中创建工作
流
时,我有了第一个java步骤,它生成一个文件,其中包含下一步所需
的
文件列表(映射-约简)。我怎样才能用那个文件给地图减少作业呢?我知道我可以在java步骤
的
捕获
输出框中打勾,然后在map中使用mapred.input.dir -还原步骤来使用
捕获
的
输出作为输入。但我想把自己从这件事中解脱出来。为了
记录
在案,我
的
文件
的
内容看起来如下: /data/
kafka
/4
浏览 3
提问于2015-08-05
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
系统解读Kafka的流和表(一):开篇
CDC Debezium 介绍
为什么BAT互联网都爱用kafka?看完你就知道了
Flink CDC 的实现原理是什么?
Kafka详细的设计和生态系统
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券