腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
处理
kafka
connect
中
的
数据
丢失
apache-kafka
、
apache-kafka-connect
我了解到
Kafka
connect
可以在集群模式下部署。并且工作人员在
数据
源和
kafka
主题之间移动
数据
。我想知道
的
是,如果工作人员在
数据
源之间移动
数据
到
kafka
主题时失败,会不会有
数据
丢失
?如果发生
数据
丢失
,我们如何从连接器获取
数据
,或者
kafka
connect
会自动
处理
它吗?
浏览 33
提问于2021-01-22
得票数 0
回答已采纳
1
回答
使用DLQ和ElasticSearch的卡夫卡消费者
elasticsearch
、
apache-kafka
、
logstash
、
apache-kafka-connect
、
fluentd
我有以下集群:我
的
问题是如何选择最有效
的
日志收集器(或者其他一些允许管理
Kafka
和ElasticSearch之间
数据
流
的
软件)。我正在尝试从Logstash、Fluentd和Confluent
的
Kafka
Elasticsearch连接器中进行选择。我面临
的
主要问题是无法在写入Elasticsearch端点时在
Kafka
中</em
浏览 1
提问于2018-10-19
得票数 0
1
回答
向主题重新发送消息
的
正确方式
python
、
apache-kafka
、
faust
我将消息从
kafka
主题加载到
数据
库。加载到
数据
库可能会失败。另外,我不想
丢失
未发送
的
消息。应用程序代码: async for unsent_msg in stream: await source_t
浏览 5
提问于2021-01-28
得票数 1
1
回答
如何使用Spark Streaming更高效地将
数据
从
Kafka
插入到Hbase
中
?
apache-spark
、
apache-kafka
、
hbase
、
spark-streaming
、
apache-kafka-connect
我尝试通过PySpark在HBase
中
创建
Kafka
数据
摄取。目前,我尝试使用HappyBase将
数据
从卡夫卡插入到Hbase
中
,但是速度非常慢。下面是当前
的
源代码。我需要达到尽可能高
的
性能。你有什么想法吗?也许是saveAsNewAPIHadoopDataset或其他任何解决方案?
浏览 18
提问于2019-03-25
得票数 0
1
回答
Rest
数据
摄取到
数据
湖
java
、
rest
、
apache-kafka
需求将
数据
摄取到
数据
湖
的
标准方法?满载、CDC和流
数据
。将
数据
加载到
kafka
主题中,不重复
浏览 0
提问于2018-01-30
得票数 1
1
回答
以
Kafka
和MongoDB为源
的
ETL
python-3.x
、
mongodb
、
apache-kafka
、
aws-lambda
、
etl
我只是在学习Apache
Kafka
。我当前
的
ETL在batch process上运行,现在我希望它在流进程上运行,以便用于报告
的
数据
始终是最新
的
。据我所知,我可以使用MongoDB连接器来捕获mongodb
中
的
数据
变化,然后将其发送到
kafka
主题。但在我
的
ETL
中
,我需要将
处理
后
的
数据
存储到SQL
数据
库
中
。
浏览 4
提问于2020-06-17
得票数 0
1
回答
Kafka
连接基于大小
的
翻转与单个分区上基于时间
的
翻转
apache-kafka
、
hdfs
、
apache-kafka-connect
、
confluent-platform
我正在使用
Kafka
connect
来接收文件到HDFS,
Kafka
connect
有TopicPartitionWriter,它可以及时滚动到所有分区,并且没有基于大小
的
滚动。我想做基于大小和基于时间
的
滚动,但对于每个分区,因为通过每个分区
的
数据
不是统一
的
,也是相似大小
的
文件。2个问题: 1.如果我试图通过在
Kafka
connect
中
更改大量代码来做到这一点,
浏览 1
提问于2020-02-20
得票数 0
2
回答
卡夫卡TimestampConverter没有找到汇合部-连接-转换-1.4.3
apache-kafka
、
apache-kafka-connect
我安装了MongoDB接收器连接器和连接转换插件,因为我希望将字段
的
值从Unix历元转换到以前
的
日期,以便在Mongo上写入
数据
,但是
Kafka
Connect
会抛出错误。Invalid value class org.apache.
kafka
.
connect
.transforms.TimestampConverter for configuration transforms.ttl.tDid you mean org.apache.
kafka
.<em
浏览 12
提问于2022-07-14
得票数 0
1
回答
Kafka
Connect
的
行为是如何工作
的
?
apache-kafka
、
apache-kafka-connect
我正在写一个
Kafka
Sink连接器到Elasticsearch。 我在SinkTask类
中
实现了start,put,flush,close方法。但是,我不知道
Kafka
Sink Connector
的
具体行为是什么。如果
Connect
Worker重复执行所有这些任务,即通过put()方法从
Kafka
代理获取SinkRecord,在内部
处理
它,然后将
数据
发送到Elasticsearch,我想知道offset commit另外,我想知道这种重复工作<
浏览 3
提问于2018-04-24
得票数 0
1
回答
我
的
生产者(SQL Server)打开了,
Kafka
关闭了。如何重新
处理
发往
kafka
的
消息?
apache-kafka
、
apache-kafka-connect
我正在使用Debezium SQL Server Source connector通过CDC将
数据
推送到
Kafka
。SQL Server表
中
的
数据
是连续插入
的
。当
Kafka
宕机时,
数据
还会插入到该表
中
吗?如果是这样,当我
的
Kafka
打开时,如何获得这些记录?
浏览 13
提问于2020-05-22
得票数 0
回答已采纳
1
回答
我们能否使用kafkastreams将
数据
加载到任何
数据
库
中
?
apache-kafka
、
apache-kafka-streams
我使用
Kafka
流从主题中获取
数据
,现在我想将这些
数据
加载到Postgres。有可能吗?
浏览 0
提问于2021-06-04
得票数 0
回答已采纳
2
回答
扩容
Kafka
Connect
是否等同于扩容
Kafka
Consumer?
apache-kafka
、
kafka-consumer-api
、
apache-kafka-connect
我们需要从
Kafka
中提取
数据
并写入AWS s3。
Kafka
由单独
的
部门管理,我们只能访问特定
的
主题。根据
Kafka
文档,看起来
Kafka
Connect
对我来说是一个简单
的
解决方案,因为我没有任何自定义
的
消息
处理
逻辑。通常,当我们运行
Kafka
Consumer时,我们可以使用相同
的
使用者组运行多个JVM,以实现可伸缩性。特定消费者
的
消费者JV
浏览 2
提问于2018-03-08
得票数 1
1
回答
kafka
-
connect
-elasticsearch:将消息存储为预定义索引
的
格式
elasticsearch
、
apache-kafka
示例:此消息结构在
kafka
主题中,但我希望在elasticsearch
中
对其进行索引,如下所示 {"id":"1","name"
浏览 0
提问于2018-09-20
得票数 0
1
回答
kafka
接收器连接器
中
无效JSON
的
错误
处理
mongodb
、
error-handling
、
apache-kafka
、
apache-kafka-connect
我有一个mongodb
的
接收器连接器,它从主题中提取json并将其放入mongoDB集合
中
。我
的
分布式模式连接器如下所示: "name": "sink-mongonew_test1", "connector.class": "com.mongodb.
kafka
.
connect
.MongoSinkConnectorconnection.uri": "m
浏览 0
提问于2020-02-11
得票数 0
1
回答
Kafka
Connect
是否提供
数据
溯源?
apache-kafka
、
apache-kafka-connect
我是第一次接触
kafka
connect
。我使用像nifi这样
的
工具已经有一段时间了。这些工具为审计提供了
数据
来源,并为理解
数据
发生了什么提供了其他目的。但我找不到任何与
kafka
connect
类似的功能。
kafka
connect
有这个功能吗?或者,在
kafka
connect
中
是否有
处理
数据
来源
的
方法,以便了解
数据
浏览 13
提问于2021-02-24
得票数 0
2
回答
合流连接-jdbc和精确
的
一次交付。
apache-kafka
、
confluent-platform
在
数据
库
中
自动递增主键字段作为增量字段
的
情况下,
kafka
-
connect
jdbc在
丢失
和重复行方面是否安全?
浏览 1
提问于2018-04-23
得票数 6
1
回答
没有分区重置策略
的
org.apache.
kafka
.clients.consumer.NoOffsetForPartitionException:未定义偏移量
hadoop
、
apache-kafka
、
hdfs
、
apache-kafka-connect
、
confluent-platform
我们正在使用
Kafka
连接器,它不断地从
Kafka
主题中提取
数据
并在HDFS上提交
数据
。at org.apache.
kafka
.
connect
.runtime.WorkerSinkTask.iteration:148
浏览 2
提问于2017-06-21
得票数 2
1
回答
当宿端solr在运行期间关闭时,重试尝试而不会
丢失
数据
apache-kafka
、
apache-kafka-connect
","topics":"reconnect.backoff.max.ms":"600000"}' http://localhost:8083/connectors 如果solr服务器在运行时关闭,则需要根据连接器配置
中</
浏览 0
提问于2020-11-26
得票数 2
1
回答
Debezium SQL Server源连接器在连接器重新启动后跳过记录
sql
、
sql-server
、
apache-kafka-connect
、
debezium
我使用Debezium CDC SQL Server源连接器从SQL server获取
数据
并将其放入
Kafka
中
,我使用
的
配置是connector.class=io.debezium.connector.sqlserver.SqlServerConnectordatabase.dbname=demodatabase.history.
kafka
.bootstrap.servers=localhost:9092database.histo
浏览 0
提问于2020-06-26
得票数 0
1
回答
Kafka
Stream:先输出到主题还是直接持久化?
apache-kafka
、
persistence
、
apache-kafka-streams
相当多
的
文章描述了实现
Kafka
流
的
使用,其中它们输出到新
的
Kafka
主题,而不是保存到某种分布式
数据
库。这只是一个常见
的
用例,假设嵌入
的
db +交互式查询就足够了,还是有一些架构上
的
原因,为什么人们想要在再次消费主题来持久化它之前输出它,而不是直接持久化?我不确定这是否有区别,但我正在查看
的
示例
的
上下文是针对翻滚时间窗口聚合
的
。
浏览 14
提问于2017-06-19
得票数 5
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Kafka 的数据丢失和重复消费
kafka connect应用之:文本数据的接入接出
基于Kafka Connect的应用实践——打造实时数据集成平台
基于Kafka Connect的流数据同步服务实现和监控体系搭建
以Kafka Connect作为实时数据集成平台的基础架构有什么优势?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券