腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
从
Quarkus
消费
Debezium
主
题中
的
消息
?
quarkus
、
debezium
我正在尝试设置一个使用MySQL+
Debezium
+Kafka生成更改事件
的
应用程序。我想使用
Quarkus
Microprofile应用程序使用
Debezium
主
题中
的
消息
。我在
Quarkus
端使用以下配置来捕获传入
消息
: mp.messaging.incoming.customers.connector=smallrye-kafka mp.messaging.incoming.customers.topic.000003"
浏览 14
提问于2020-10-26
得票数 0
回答已采纳
2
回答
Debezium
如何
设置Kafka
消息
时间戳
apache-kafka
、
debezium
我没有找到任何关于
Debezium
如何
设置Kafka
消息
时间戳
的
文档-以及是否设置了它。
从
值
的
比较来看,Kafka
消息
时间戳始终落后于数据库表(source.ts_ms)更改
的
时间戳,也落后于
Debezium
(ts_ms)处理更改
的
时间。这表明Kafka
消息
时间戳只是由Kafka代理设置为摄取时间
的
时间戳。 有谁知道
Debezium
是否以及
如何
浏览 42
提问于2021-04-20
得票数 0
1
回答
卡夫卡
的
数据
如何
去规范化?
apache-kafka
、
apache-kafka-streams
、
debezium
,我们必须重新生成他们
的
所有书籍。我正在使用
Debezium
为卡夫卡中
的
每个表发布更改日志。在源代码中将数据去规范化为一个新
的
MySQL表,并使用
Debezium
只流这个新表。这可能是不可能
的
,我们必须投入大量
的
精力来修改源代码系统
的
代码。加入了卡夫卡
的
流,尽管我没有
浏览 2
提问于2019-12-14
得票数 4
回答已采纳
1
回答
使用kafka
的
Quarkus
反应性
消息
传递
java
、
apache-kafka
、
quarkus
、
microprofile
、
smallrye-reactive-messaging
我有两个微型服务,一个生产者和一个
消费
者。制片人每两秒为卡夫卡主题写一个数字
的
增量。使用者有两个实例正在运行,使用这些增量。我注意到了一些我想解决
的
奇怪问题: 当还没有
消费
者
的
时候,制片人开始制作这些信息就被保存在卡夫卡里。当
消费
者在线时,它不会处理生产者已经生成
的
已经存在
的
消息
,而是开始使用现在传入
的
消息
。
消费
者
如何
处理所有未消耗
的
浏览 1
提问于2020-07-12
得票数 0
2
回答
Kafka和微服务.建筑问题
apache-kafka
在基于微服务
的
体系结构中,谁给卡夫卡写信?服务本身还是微服务数据库?我一直在考虑这一问题,并看到了这两种方法
的
优缺点,但倾向于让数据库写入Kafka主题,因为 卡夫卡主
题中
的
数据库和数据不会失去同步,以免因为任何原因而导致写入卡夫卡失败。谢谢你
的
投入
浏览 2
提问于2019-09-19
得票数 1
1
回答
Debezium
将1GB数据库转换为100 1GB主题存储。
json
、
postgresql
、
apache-kafka
、
storage
、
debezium
我在容器中有
Debezium
,捕获PostgeSQL数据库记录
的
所有更改。我知道
从
转换到JSON会有一个开销,但是两者之间
的
差别要大很多倍。有没有什么可以被配置来减少kafka主题存储
的
东西?
浏览 16
提问于2022-10-31
得票数 1
回答已采纳
1
回答
如何
通过
消费
kafka主题
消息
而不是Rest API来创建命令
axon
我使用
的
是Axon版本(3.3),它在SpringBoot
主
类中使用在我们
的
用例中,命令端微服务需要从kafka主
题中
挑选
消息
,而不是将其公开为Rest api。它会将事件存储在事件存储中,然后将其移动到另一个kafka主题,供查询端微服务
消费
。 由于KafkaAutoCOnfiguration被禁用,我不能使用spring-kafka配置来编写
消费</
浏览 18
提问于2019-07-12
得票数 0
1
回答
在一个位置管理两个关系数据库中
的
数据
google-bigquery
、
amazon-redshift
、
data-warehouse
、
bigdata
需要运行涉及两个数据库中
的
表
的
临时查询。目前,我们正以两种方式之一这样做: 在我们
的
邮政服务器上。我们想要做
的
事情:--我们希望这两个数据库中
的
大多数表(按原样)都可以在一个位置上使用,所以查询它们是简单而快捷
的
。我们正在考虑将两个DB服务器上
的
数据复制到BQ中,而不进行任何转换。看起来,我们需要定期(每天)取满我们
的
桌子,并更新烧烤,因为烧烤是。最近在BQ中<em
浏览 5
提问于2017-03-06
得票数 1
回答已采纳
2
回答
Quarkus
SQS
消费
者
amazon-sqs
、
quarkus
我正在检查使用
Quarkus
从
SQS
消费
的
。 问题是,我想在一个没完没了
的
循环上这样做,例如,每10秒获取一次新
消息
,并使用Hibernate反应性将
消息
中
的
一些数据插入数据库中。我创建了
Quarkus
Scheduler,但是由于它不支持返回Uni,所以我不得不阻止来自Hibernate反应性
的
响应,并得到了这个错误。Exception 1] java.lang.IllegalStateException: HR0
浏览 26
提问于2022-02-16
得票数 0
回答已采纳
3
回答
配置
debezium
以根据自定义条件将数据放在不同
的
主题上
apache-kafka
、
microservices
、
etl
、
apache-kafka-connect
我将迁移到kafka作为代理和
debezium
,以便
从
报告和搜索数据库
的
所有微服务中获取数据(ETL数据)。有没有办法配置
debezium
,使其根据自定义条件(如用户或公司或行/数据
的
某些关键列/属性)将数据放在不同
的
主题上。
浏览 0
提问于2019-01-24
得票数 1
1
回答
如何
在
Quarkus
中启动多个
消息
使用者?
java
、
apache-kafka
、
vert.x
、
quarkus
我试图
从
Vert.x迁移到
Quarkus
,在Vert.x中,当我写像Kafka/AMQP这样
的
消息
消费
者时,我必须缩放垂直
的
数量,以最大限度地提高多核
的
性能,即垂直缩放--这在
Quarkus
中是可能
的
吗例如,使用Kafka,我可能在一个垂直
的
内部创建一个
消费
者,然后在执行性能测试后,创建一个垂直表示10次
的
(即指定部署中
的
实例数为10),以确定这是最优
浏览 4
提问于2021-09-06
得票数 1
回答已采纳
1
回答
对多个连接器使用现有主题是一种良好
的
实践吗?
postgresql
、
jdbc
、
apache-kafka
、
apache-kafka-connect
、
debezium
我正在使用
Debezium
PostgreSQL连接器将用户表转换为一个Kafka主题。问题:使用现有的users表主题是一个很好
的
实践吗?如果是,那么我
如何
确保新
的
JDBC连接器是整个users表
的
快照
浏览 6
提问于2022-05-26
得票数 1
2
回答
ActiveMQ
如何
保存未能发送到队列/topic上
的
用户
的
消息
?
jms
、
activemq
我还在学习这个activemq和jms
的
东西。我已经尝试了一些示例,现在我可以
从
队列/主题生成和
消费
消息
。现在我遇到了一个问题,当我
的
客户/
消费
者失去连接时,队列/主
题中
的
消息
仍然会发出该
消息
,该
消息
会丢失,而不会保存在队列/主
题中
。因此,我
的
问题是
如何
保留失败
的
消息
,以
浏览 0
提问于2014-12-05
得票数 3
回答已采纳
1
回答
在kafka
消费
者控制台成功连接并获取
消息
后,无法
消费
来自kafka主题
的
消息
(使用Python)
python
、
python-3.x
、
apache-kafka
、
kafka-consumer-api
、
debezium
我有一个使用Kafka
的
Debezium
设置。我可以像文档中描述
的
那样
从
kafka控制台
消费
消息
。但是,当我在本地使用Python创建kafka
消费
者时,我无法
消费
消息
。=['localhost:9092'], auto_offset_reset='earliest') print(message) 无论是现有
消息
还是推
浏览 1
提问于2019-04-29
得票数 0
2
回答
批量处理kafka
消息
kafka-consumer-api
、
apache-kafka-connect
、
snowflake-cloud-data-platform
寻找关于我想要对主
题中
的
消息
进行处理
的
想法。我希望能够处理
消息
,在我
的
情况下,以10,000个为一批
的
事件。这是因为我在转换后将
消息
插入到我们
的
雪花仓库中。雪花加载在批处理加载时执行得更好。在主
题中
有10,000条
消息
之后才
从
主
题中
拉出
消息
的
消费
者有什么想法吗?IOW,一旦延迟达到10000,就从主
题中
浏览 23
提问于2019-08-08
得票数 0
1
回答
Debezium
如何
保证在一个主题“完全有序”内
的
所有事件?
apache-kafka
、
debezium
正如我
从
Debezium
的
常见问
题中
读到
的
,据说: 大多数连接器都会将单个数据库表
的
所有事件记录到单个主题。此外,一个主
题中
的
所有事件都是完全有序
的
,这意味着所有这些事件
的
顺序都将被维持。因此,如果我期望对主
题中
的
事件进行排序,我必须设置该主题只有一个分区,这就牺牲了Kafka
的
吞吐量,否则就需要使用其他机制。但我在
Debezium
的<
浏览 0
提问于2020-08-18
得票数 3
2
回答
阅读由
debezium
postgres连接填充
的
Docker Kafka
消息
postgresql
、
docker
、
apache-kafka
、
debezium
我正在使用
Debezium
Postgres连接器。我在Postgres有两张表格,分别是“出版物”和“评论”。按照标准
的
例子,卡夫卡和动物园管理员正在码头集装箱中运行。postgres正在本地运行。在使用
debezium
postgres连接之后,我有以下主题: my_con
浏览 2
提问于2019-06-04
得票数 0
1
回答
如何
分离与
Debezium
连接器中
的
行有关
的
database.history
消息
和
消息
?
apache-kafka
、
apache-kafka-connect
、
debezium
我在Kafka Connect中创建了
Debezium
连接器。它可以工作,但如果我想添加任何SMT,它就会中断- DDL更改有不同
的
消息
结构(例如表模式中
的
更改),而行中
的
更改则不同。{ "config": { "connector.class": "io.
debezium
.connector.mys
浏览 4
提问于2021-01-22
得票数 0
回答已采纳
1
回答
cli模式下
的
Quarkus
Kafka
apache-kafka
、
quarkus
我想在CLI模式下创建一个
Quarkus
应用程序,以便
从
kafka获取数据并将其批量存储在数据库中(作为穷人
的
Spark)。有没有可能以某种方式注入一个Kafka
消费
者,并手动决定(根据offset lag)获取
消息
? Thnx
浏览 14
提问于2021-01-11
得票数 0
1
回答
卡夫卡
消费
者-
如何
识别偏移跳过/缺失偏移量?
apache-kafka
、
kafka-consumer-api
、
apache-kafka-connect
、
debezium
起始位置/背景/问题:
如何
处理这些情况(如果提高log.retention.minu
浏览 8
提问于2022-02-01
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Debezium和Quarkus:通过CDC模式来避免双重写入
Kafka Streams与Quarkus:实时处理事件
如何使用发件箱模式实现微服务的Saga编排
使用 Kafka、Debezium 和 Kubernetes 实现应用现代化的模式
微服务需要一场由内至外的变革
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券