腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
使用
camel
kafka
连接器
从
远程
文件
读取
文件
记录
apache-kafka
、
apache-camel
、
apache-kafka-connect
哪个
camel
kafka
连接器
组件可以
从
远程
服务器
读取
文件
并将
记录
发布到
kafka
主题?我尝试了
camel
-sftp-
kafka
-connector,但它将整个
文件
移到了主题。有没有
连接器
可以直接
读取
远程
服务器上的
文件
?
浏览 27
提问于2020-12-31
得票数 0
1
回答
我能用
Camel
kafka
连接器
将一条消息拆分成不同的消息并发送给
Kafka
吗?
apache-camel
、
apache-kafka-connect
、
spring-camel
我试图
读取
一个
文件
,并
使用
Camel
kafka
连接器
将数据发送给
kafka
,但我需要将
文件
拆分为多条消息,并将它们分别发送给
Kafka
。是否可以
使用
camel
卡夫卡
连接器
、
camel
文件
-
kafka
连接器
将数据分拆并单独发送给
kafka
? 提前谢谢。
浏览 10
提问于2022-01-25
得票数 1
2
回答
为什么
Camel
Kafka
-Rabbitmq
连接器
将我的邮件转换为无法
读取
的格式?
apache-kafka
、
rabbitmq
、
apache-camel
、
apache-kafka-connect
我的目标是在rabbitmq交换队列和
kafka
主题之间建立一个
连接器
。我按照这个指南来设置
连接器
:https://
camel
.apache.org/
camel
-
kafka
-connector/latest/try-it-out-locally.html。我
从
源代码https://github.com/apache/
camel
-
kafka
-con
浏览 11
提问于2020-09-25
得票数 1
回答已采纳
2
回答
FilePulse SourceConnector
apache-kafka
、
apache-kafka-connect
我想继续用FilePulse源
连接器
在ksqldb中
读取
csv
文件
,但是它不能正常工作。( a)
连接器
只
读取
文件
一次或( b)
连接器
从
文件
中
读取
所有数据,但在这种情况下,
kafka
主题中存在重复(每次
连接器
读取
附加
文件
,然后将所有数据
从
文件
插入到主题中--不仅仅是更改后的数据)。(连续
读取
<e
浏览 8
提问于2022-01-02
得票数 0
2
回答
卡夫卡连接与卡夫卡主机要求
apache-kafka
、
couchbase
、
apache-kafka-connect
我正在
使用
Couchbase接收器
连接器
。CB和
kafka
在两个不同的EC2实例中,在不同的AWS区域。我正在跟踪这些
文件
: at org.apache.
kafka
.connect.u
浏览 3
提问于2019-09-18
得票数 1
回答已采纳
1
回答
使用
Kafka
连接器
时,我可以在哪里传递数据中的属性
文件
?
ssl
、
apache-kafka
、
apache-kafka-connect
、
datastage
、
keytab
有一些属性是我想要更改的,例如,security.protocol
从
SASL_PLAINTEXT改为SASL_SSL。但是Datastage中的
Kafka
连接器
的属性数量非常有限(主机、
使用
kerberos、主体名称、keytab、主题名称、
使用
者组、max轮询
记录
、max消息、重置策略超时和类路径)。在
读取
时,首先要做的就是传递JAAS配置
文件
。但我的问题是: 如何指向这个
浏览 5
提问于2020-06-17
得票数 0
2
回答
如何在Snowflake connector for
KAFKA
中
使用
连续流数据
snowflake-cloud-data-platform
在snowflake
连接器
中应该为主题提供什么? 因为我能够
使用
所需的主题名称通过单个表数据填充数据。但我有捕获连续数据流到表中的要求。
浏览 0
提问于2021-10-07
得票数 5
1
回答
CDC(变更数据捕获)与
Kafka
amazon-s3
、
apache-kafka
、
cdc
我想用
kafka
: DB1->
kafka
->各种接收器(即: s3,DB,其他
kafka
消费者)实现CDC。其中一个用例是只
使用
给定时间内的事件来恢复给定的表。Ie:对于TBL1,所有事件都在
kafka
、初始加载和增量中。我想在给定的水槽中恢复原状.s3,db)此表仅包含来自date1-date2的事件。 除了恢复完全状态之外,您还将如何处理这个问题?
浏览 4
提问于2022-05-11
得票数 0
2
回答
Kafka
连接接收器任务忽略
文件
偏移存储属性。
apache-kafka
、
apache-kafka-connect
我在
使用
汇合JDBC
连接器
时遇到了非常奇怪的行为。我很确定这与汇流堆栈无关,而是与
Kafka
-connect框架本身有关。因此,我将offset.storage.file.filename属性定义为默认/tmp/connect.offsets并运行我的接收器
连接器
。显然,我期望
连接器
在给定的
文件
中持久化偏移量(它在
文件
系统中不存在,但是它应该自动创建,对吗?)
文件
上说: offset.storage.file.filename用于
浏览 3
提问于2017-02-06
得票数 13
1
回答
未能刷新WorkerSourceTask{id=本地
文件
源-0},在等待生产者刷新未完成的消息时超时,左1
elasticsearch
、
apache-kafka
、
apache-kafka-connect
我在跟踪这个github回购我正在尝试将数据
从
文件
源
读取
到弹性搜索。=false internal.value.converter=org.apache.
kafka
.connec
浏览 9
提问于2022-01-17
得票数 0
1
回答
Kafka
用例替换控制M作业
postgresql
、
apache-kafka
、
spring-cloud
、
spring-cloud-stream
、
confluent-platform
第一项任务-加载csv
文件
记录
并插入数据库暂存表第二项任务-对临时表第三作业中的每个
记录
执行数据封装-
从
暂存表中
读取
数据并插入到另一个表。创建csv
kafka
源
连接器
来
读取
csv中的数据,并插入
kafka
输入主题创建春云
kafka
流绑定应用程序,
从
输入主题<e
浏览 1
提问于2021-05-14
得票数 0
1
回答
在Apache
kafka
中
使用
camel
-sftp-
kafka
-connector时遇到的问题?
apache-kafka
、
apache-camel
、
sftp
、
apache-kafka-connect
、
camel-ftp
我正在尝试
使用
camel
- sftp -
kafka
-connector在Apache
kafka
中创建一个sftp
连接器
。我刚刚下载了sftp-connector jar并粘贴到了
kafka
的lib
文件
夹中。点击/connector-plugins端点时,我可以看到sftp-connector是可用的下面是我的
连接器
配置示例 "name": "
camel
-sftp-c
浏览 11
提问于2021-05-05
得票数 0
2
回答
如何在消费者MQ Topic中消费
Kafka
Topic
apache-kafka
、
ibm-mq
、
cds
我有一个需求,我需要消费
Kafka
Topic并将其写入MQ Topic。有人能建议我做它的最好的方法,我是新手卡夫卡。
浏览 55
提问于2019-05-28
得票数 0
回答已采纳
1
回答
每个
连接器
的卡夫卡连接日志
logging
、
apache-kafka
、
apache-kafka-connect
我正在
使用
Kafka
代理启动汇合
连接器
,但在
读取
日志中的错误时遇到了问题--所有用connect.stdout
文件
编写的日志 我需要一个独立日志
文件
中的每个
连接器
日志。我尝试
使用
grep命令将日志
从
connect.stdout
文件
和log4j
文件
中分离出来,以便进行日志
记录
。
浏览 1
提问于2019-05-31
得票数 0
回答已采纳
1
回答
Kafka
vs.
Kafka
Connect术语-源和汇,还是生产者和消费者
apache-kafka
、
apache-kafka-connect
我正在阅读关于
Kafka
和
Kafka
Connect的文章。文档在
Kafka
Connect文档中以一种通用的方式提到了“
Kafka
源”和“
Kafka
汇”。我不确定这两个术语是否特定于
Kafka
Connect,或者它们只是指生产者和消费者。
浏览 13
提问于2021-06-24
得票数 0
回答已采纳
1
回答
在通过CamelKafkaAzureBlobSink
连接器
的每条
记录
上追加一个新的行字符
apache-kafka
、
apache-camel
、
azure-blob-storage
、
apache-kafka-connect
我们目前正在开发一个数据管道栈,其中我们
使用
了CamelAzurestorageblobSinkConnector(0.9.x),它基本上是
从
Kafka
(cp-
kafka
-5.0.0)中
读取
一个特定的主题,并将每个
记录
附加到特定的Azure AppendBlob中。JSON
记录
已附加到blob
文件
中,没有任何中断,如- {"uuid":"6e7190e2-987d-44f5-9b20-ba854d8d4274",
浏览 3
提问于2021-05-03
得票数 0
回答已采纳
1
回答
从
S3中的JSON
记录
到Parquet
文件
json
、
apache-kafka
、
parquet
、
apache-kafka-connect
拼花
文件
是自描述的,意味着它包含正确的模式。我知道这还没有得到支持,但我也很少有关于地板和阿夫罗的问题。 由于JSON
记录
中没有嵌入模式,这意味着
连接器
任务必须
从
JSON字段推断数据--它是self?A
浏览 0
提问于2019-09-17
得票数 4
4
回答
使用
Kafka
Connect实时
读取
CSV
文件
java
、
apache-kafka
、
kafka-producer-api
、
apache-kafka-connect
如何在java中集成
Kafka
与
Kafka
生产者的连接,以便我能够实时
读取
CSV
文件
?我很难找到与此相关的任何消息来源。现在我正在
使用
scala运行一个简单的
Kafka
生产者类,但是不知道如何将它与
Kafka
连接一起
使用
。
浏览 0
提问于2018-09-17
得票数 3
回答已采纳
1
回答
Apache -
Camel
Kubernetes Yaml
文件
中的日期时间替换
kubernetes
、
apache-camel
、
apache-kafka-connect
、
strimzi
、
s3-kafka-connector
我想
使用
参考文档S3在kubernetes中部署卡夫卡接收器
连接器
(
使用
Apache )。此Kubernetes部署
文件
中
使用
的(${date:now:yyyyMMdd-HHmmssSSS}占位符DateTime未被解析。而${file:}被解析。: org.apache.
kafka
.connect.storage.StringConverter
camel
.sink.url: aws-s3:
浏览 3
提问于2020-05-29
得票数 1
1
回答
kafka
中创建的主题自动下沉到elasticsearch
elasticsearch
、
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我在
kafka
中创建了主题(test1,test2,test3),我想在创建时将它们下沉到弹性。我尝试过topics.regex,但它只为已经存在的主题创建索引。下面是我在
kafka
-sink中
使用
的
连接器
配置: "name": "elastic-sink-test-regex", "connector.classio.confluent.connect.elasticsearch.Elasti
浏览 0
提问于2018-10-02
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Kafka 安装及快速入门
Flink 支持哪些数据源和数据接收器?
深入理解Kafka Connect:转换器和序列化
Flink CDC 的实现原理是什么?
如何使用flink-connector-postgres-cdc将Kafka写数据到PostgreSQL数据库动态表中
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券