腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Kafka
中
已
存储
记录
的
详细信息
apache-kafka
事实上,我正在寻找一种方法来获取
存储
在
kafka
brokers
中
的
记录
的
详细信息
,以供操作使用。我尝试过
Kafka
-consumer-groups.sh工具,但它只显示指定消费者组
的
信息,没有显示其状态
的
单个
记录
或一组
记录
的
详细信息
,例如“是否
已
消费”和“
已
消费
的
时间”。实际上,我
的
浏览 11
提问于2020-10-30
得票数 0
2
回答
Kafka
Connect with MSSQL不适用于删除操作
sql-server
、
apache-kafka-connect
、
confluent-platform
我在SQL Server2014上使用
Kafka
Connect和。我尝试了insert和update操作,它们工作正常,将正确
的
记录
推送到
Kafka
。如果我删除了一条
记录
,我会收到关于
Kafka
主题
的
信息:相反,我希望看到
已
删除
记录
的
详细信息
。
浏览 1
提问于2019-01-08
得票数 0
1
回答
如何将主题
的
所有
记录
存储
在一个文件
中
。
java
、
apache-kafka
如何将
kafka
topic
的
所有信息和所有
记录
详细信息
保存在文件
中
。b)关于
kafka
的
主题
详细信息
位于何处。?
浏览 6
提问于2018-09-07
得票数 0
回答已采纳
1
回答
数据在
kafka
服务器
中
存储
多长时间?
apache-kafka
假设我从
kafka
生产者向
kafka
消费者发送一些消息,那么它将
存储
在哪里?有没有用来
存储
消息
的
数据库?消息
存储
了多长时间? 有没有人能解释一下。
浏览 0
提问于2018-04-23
得票数 6
回答已采纳
1
回答
如何使
Kafka
接收器连接器在接收器启动时将数据从主题插入到表
中
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我已经为我
的
数据
存储
(Amppol )开发了
kafka
-sink-connector (使用confluent-oss-3.2.0-2.11,connect framework),它将
kafka
主题中
的
数据
存储
到我
的
存储
中
的
相应表
中
只要
kafka
服务器和ADS服务器启动并运行,一切都像预期
的
那样工作。 需要关于特定用例
的
帮助/建议,其中
浏览 1
提问于2017-04-04
得票数 0
2
回答
如何在
Kafka
Connect Runtime
中
获取任务详情(ID和Connector)
apache-kafka
、
apache-kafka-connect
我正在尝试创建自定义连接器,并希望在任务运行时中
记录
任务
详细信息
(连接器和任务ID)。在Task start和poll方法
中
,我希望
记录
任务编号和连接器名称。有没有办法获得提供任务
详细信息
(连接器和任务ID)
的
程序运行时上下文。 请注意,连接器可能有多个并行运行
的
任务(tasks.max配置),因此我希望将特定
的
消息与创建它
的
特定任务相关联。
浏览 27
提问于2020-04-02
得票数 2
6
回答
如何在使用Spark Streaming对
kafka
进行流媒体时进行去重?
apache-spark
、
duplicates
、
apache-kafka
、
spark-streaming
我有一个案例,
Kafka
生产者一天发送两次数据。这些生产者从数据库/文件
中
读取所有数据并发送给
Kafka
。所以这些信息是每天发送
的
,是重复
的
。我需要对消息进行重复数据删除,并使用Spark流在一些持久
存储
中
写入。在这种情况下,删除重复消息
的
最佳方法是什么? 发送
的
重复消息是带有时间戳字段
的
json字符串,仅更新。注意:我不能改变
Kafka
Producer只发送新
的
数据&
浏览 65
提问于2018-02-12
得票数 2
1
回答
通过
kafka
jdbc连接器删除数据库
中
的
记录
mysql
、
apache-kafka
、
kafka-consumer-api
、
kafka-producer-api
、
apache-kafka-connect
我正在尝试使用汇合式
Kafka
jdbc连接器将
kafka
连接器与数据库连接起来。 我可以从一个数据库插入和更新
记录
到另一个数据库,但是当我尝试删除
记录
时,
已
删除
的
记录
不会反映到目标db
中
。我
的
意思是
记录
的
同步(
已
删除
的
记录
)不会从目标数据库
中
删除。
浏览 1
提问于2018-12-20
得票数 2
回答已采纳
3
回答
发件箱模式--如何防止消息中继过程产生重复
的
消息?
apache-kafka
、
spring-cloud
、
spring-cloud-stream
实现
的
通常方法是将消息有效负载
存储
在一个发件箱表
中
,并对挂起
的
消息进行单独
的
进程( Message Relay)查询,并将它们发布到message (在我
的
示例
中
为
Kafka
)
中
。发件箱表
的
状态如下所示。是一个Spring /Cloud应用程序,它定期(@Scheduled)查找挂起
的
记录
,将它们发布到
Kafka
并将
记录
更新到
浏览 1
提问于2019-06-11
得票数 6
回答已采纳
1
回答
Spring Embedded
Kafka
+模拟架构注册表:状态
存储
ChangeLog架构未注册
apache-kafka
、
apache-kafka-streams
、
confluent-schema-registry
、
embedded-kafka
我正在使用带有MockSchemaRegistryClient
的
为我们
的
kafka
系统构建一个集成测试。我正在为我们
的
一个Stream拓扑构建一个测试,该拓扑是使用Streams API (KStreamBuilder)构建
的
。我在将来自表1
的
KTableProcessor
的
输入馈送到stream1时遇到错误: Exception in thread "mortgage-
kafka
-consumers-it-c1dd9185-at org.a
浏览 2
提问于2018-06-19
得票数 5
1
回答
Kafka
使用者在知道从和直到偏移量时从主题中读取数据
apache-spark
、
hive
、
apache-kafka
、
spark-streaming
、
kafka-consumer-api
我可以知道
kafka
消费者是否可以读取特定
的
记录
,当主题
的
分区偏移量已知时,直到知道该
记录
为止。在我
的
spark streaming应用程序
中
,有几个批次没有被处理(插入到表
中
),在这种情况下,我只想读取丢失
的
数据。我正在
存储
主题
的
详细信息
,即分区和偏移量。谁能让我知道这是否可以实现从主题阅读时,偏移量是已知
的
。
浏览 10
提问于2019-02-20
得票数 0
回答已采纳
2
回答
如何将未提交
的
数据保存在应用程序/数据库
中
,直到它被提交
java
、
oracle
、
database-design
我有一个场景,cms用户通过应用程序/CMS对数据进行
的
任何更新/更改都需要管理员/授权者用户
的
批准。在单个文档/
记录
中
的
一次更新
中
可能存在多个更改。此审批不会实时完成,可能需要几个小时或几天。那么,在这种情况下,在获得批准或拒绝之前,最好
的
方法是在不将数据放入数据库
的
情况下保持数据
的
存活状态。我应该创建临时表还是复制表,以将此数据临时保留在数据库
中
?但这将导致大量
的<
浏览 4
提问于2021-10-18
得票数 0
1
回答
我
的
生产者(SQL Server)打开了,
Kafka
关闭了。如何重新处理发往
kafka
的
消息?
apache-kafka
、
apache-kafka-connect
我正在使用Debezium SQL Server Source connector通过CDC将数据推送到
Kafka
。SQL Server表
中
的
数据是连续插入
的
。当
Kafka
宕机时,数据还会插入到该表
中
吗?如果是这样,当我
的
Kafka
打开时,如何获得这些
记录
?
浏览 13
提问于2020-05-22
得票数 0
回答已采纳
1
回答
处理最后n个
记录
中
的
电火花卡夫卡流
pyspark
、
apache-kafka
、
apache-spark-sql
、
spark-structured-streaming
我需要对不同商店
的
最后10万份
记录
(客户账单)进行一些操作,每5分钟一次。在吡火花结构化流
中
,我需要遵循
的
最佳方法或步骤是什么?输入源是
Kafka
。此外,我还必须逐步删除超过100 K
记录
的
每家商店
的
旧
记录
,因为我只需要最近每一家商店100 K
记录
在任何时候。例如,我需要从商店'S1‘
的
最后100 k
记录
和
存储
'S2’
的
最后1
浏览 1
提问于2022-02-06
得票数 2
3
回答
如何创建自定义
kafka
消费者拦截器,一次拦截一条
记录
?
apache-kafka
、
kafka-consumer-api
我正在尝试使用org.apache.
kafka
.clients.consumer.ConsumerInterceptor添加一个自定义
的
消费者拦截器。我这里遇到
的
问题是,onConsume()方法接受ConsumerRecords<String, Object>
记录
,但我希望一次只截取一条
记录
,而不是一堆
记录
。 我该怎么做?请给出建议
浏览 2
提问于2019-06-12
得票数 1
1
回答
在
Kafka
连接器
中
,如何获得我
的
Kafka
Connect当前使用
的
引导服务器地址?
apache-kafka
、
apache-kafka-connect
我
的
反序列化器是JSONConverter。但是,当有人向我
的
连接器
的
主题发送错误
的
JSON数据时,我希望省略此
记录
,并将此
记录
发送到我公司
的
特定主题。我
的
困惑是:我找不到任何API来获取我
的
连接
的
bootstrap.servers。(我知道它在confluent
的
etc目录
中
,但编写"connect-distributed.properties“目录
的
浏览 0
提问于2018-11-20
得票数 1
回答已采纳
2
回答
Kafka
-本地状态
存储
是否消耗应用程序内存(JVM)
java
、
apache-kafka
、
apache-kafka-streams
、
spring-kafka
我有一个消费者API线程运行在我
的
应用程序
中
(运行在不同
的
节点上),我
的
目标是消费来自
Kafka
的
传入
记录
,它将具有唯一
的
id作为键。寻找一个选项来
存储
由
Kafka
消费者API处理
的
记录
,以便我
的
订单可以使用它来显示。 计划在
Kafka
broker上使用Stream API处理并创建Ktable。如果我选择使用持久状态
存储
,它
浏览 3
提问于2020-07-20
得票数 0
1
回答
Apache
中
的
差分partition_key与key
apache-camel
、
apache-kafka
我使用
的
是Camels版本2.19.2,在这里发布这个问题之前,我查看了Camels网站- 上
的
文档。 exchange.getIn().setBody("Test Message from Camel
Kafka
exchange.getIn().setHeader(KafkaConstants.KEY, "1"); }
浏览 4
提问于2017-11-08
得票数 1
回答已采纳
1
回答
连接器创建抛出org.apache.
kafka
.connect.runtime.distributed.RebalanceNeededException
apache-kafka
、
apache-kafka-connect
在连接器post请求创建过程
中
,我收到以下错误: error response: {"error_code":500,"message":"org.apache.
kafka
.connect.runtime.distributed.RebalanceNeededException: Request cannot be
浏览 22
提问于2019-07-16
得票数 0
2
回答
如何在Snowflake connector for
KAFKA
中使用连续流数据
snowflake-cloud-data-platform
任何人都可以帮助我消耗连续数据
中
的
数据,这些数据正在被流式传输。在snowflake连接器
中
应该为主题提供什么? 因为我能够使用所需
的
主题名称通过单个表数据填充数据。但我有捕获连续数据流到表
中
的
要求。
浏览 0
提问于2021-10-07
得票数 5
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
MongoDB最新发布、OpenSSH增加对存储在RAM中的私钥的保护、谷歌启动位置记录的删除控件…
如何将kafka中的数据快速导入Hadoop?
Apache Kafka 3.0 发布,离彻底去掉ZooKeeper更进一步
Spark Streaming与Kafka 整合的改进
加米谷大数据:2入门介绍kafka0.10.x
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券