腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
外部
化
Kafka
Connect
中
的
属性
、
我想
外部
化
数据库连接
的
用户名和密码在
Kafka
连接,该应用程序应该从OpenShift
的
秘密配置来获取用户名和密码。有没有人能指导一下怎么做?
浏览 10
提问于2020-10-09
得票数 0
1
回答
kafka
连接器启动期间
的
秘密管理
我使用
Kafka
连接器作为源连接器。该文档提供了一种使用REST API管理
的
方法。 如果
kafka
-connector已经启动并运行,并且我们尝试创建一个新
的
连接器(实例),那么这是可行
的
。但是在
Kafka
Connect
worker本身启动期间,如果我们需要在分布式
属性
文件
中
传递一些凭据,比如SSL证书密码。是否可以使用
kafka
- FileConfigProvider提供
的
连接,或者通过<e
浏览 0
提问于2020-06-16
得票数 0
1
回答
将实时连续日志数据发送给
kafka
并进行消费
、
、
我必须分析两个不同应用程序
的
服务器日志。日志将全天候连续生成。我有生成日志
的
服务器
的
凭据。我需要将这些日志数据发送到
kafka
,并使用python (通过应用regex)从这些日志中提取一些错误信息,并使用我提取
的
数据准备一个实时仪表板。如何获取持续生成到
kafka
的
日志数据?我对这个场景是新
的
,所以如果你理解我上面的要求,请给出一些关于我如何实现这一点
的
见解。谢谢。
浏览 14
提问于2020-03-02
得票数 0
2
回答
使用docker将
kafka
主题数据写入redis
、
、
、
解释:我想要做
的
是使用docker将卡夫卡主题数据写入redis。他们创建了一个自述文件来指导如何设置
kafka
的
配置: "name" : "RedisSinkConnector1", "connector.class" : "com.
浏览 0
提问于2019-09-15
得票数 1
回答已采纳
1
回答
Debezium Postgres接收器连接器无法插入日期类型
的
值。
、
、
、
在设置源连接器和接收器连接器之后,我会发现DATE类型Postgres列
的
问题。全堆栈跟踪: at org.apache.
k
浏览 1
提问于2019-12-03
得票数 2
回答已采纳
1
回答
Kafka
的
Serializer<T>接口中
的
`configs`参数是什么?
、
Kafka
的
Serializer<T>接口有一个接受映射
的
configure方法。但是由于
kafka
-client
的
KafkaProducer键/值序列
化
配置只接受类
的
名称,而没有参数,那么这个映射从何而来?https://
kafka
.apache.org/30/javadoc/org/apache/
kafka
/common/
浏览 22
提问于2021-10-15
得票数 0
3
回答
Kafka
Connect
,JDBC连接器明文密码。如何避免?
、
、
我有一个正在使用
的
jdbc源连接器,并且我一直在使用Postman来测试和设置它。数据库连接
的
密码是明文
的
,只要我是唯一看到密码的人就可以了。"config": { "connection.urllastUpdate", "table.types&quo
浏览 1
提问于2020-01-25
得票数 2
1
回答
如何使用Spark Streaming更高效地将数据从
Kafka
插入到Hbase
中
?
、
、
、
、
我尝试通过PySpark在HBase
中
创建
Kafka
数据摄取。目前,我尝试使用HappyBase将数据从卡夫卡插入到Hbase
中
,但是速度非常慢。下面是当前
的
源代码。我需要达到尽可能高
的
性能。你有什么想法吗?也许是saveAsNewAPIHadoopDataset或其他任何解决方案?
浏览 18
提问于2019-03-25
得票数 0
1
回答
我们可以在
Kafka
Streams中使用任何其他数据库,如MariaDB或MongoDB来代替Rocks DB来存储状态吗?有什么方法可以配置它吗?
、
、
、
我有一个Spring boot
Kafka
Stream应用程序,它处理所有传入
的
事件,并将其存储在
Kafka
Streams内部提供
的
State store
中
,并使用交互式查询服务进行查询。在所有这些使用" RocksDB“
的
Kafka
流
中
,我想用任何其他可以配置
的
数据库替换这个RocksDB,比如MariaDB或MongoDB。有办法做到这一点吗?如果不是 如何配置
Kafka
Stream应用程序使用M
浏览 21
提问于2020-08-27
得票数 4
2
回答
使用
kafka
- Avro -console-consumer获取二进制数组形式
的
avro记录
、
、
、
我有一个卡夫卡生产者发送Avro记录到一个“测试”
的
主题。我还有一个Schema Registry,其中存储了每条记录
的
模式。在此之后,我使用以下命令来检索我发送
的
Avro记录,它返回如下
的
JSON输出: {"A":"HI","B":"HELLO",&qu
浏览 0
提问于2018-06-28
得票数 0
1
回答
在
Kafka
Connect
上为线程监听器端口暴露额外端口
、
、
、
我正在使用
Kafka
Connect
,并在我
的
连接器插件
中
启动了一个独立
的
线程,该插件正在侦听一个端口(比如"9090")。我想使用这个端口来允许应用程序(在
kafka
环境之外)与我
的
连接器插件进行通信。 我在docker-compose
中
运行
Kafka
Connect
(和
kafka
环境)。问:如何在docker compose
中
公开端口,以便
外部</
浏览 33
提问于2021-10-08
得票数 0
回答已采纳
1
回答
除了卡夫卡-连接FileConfigProvider,我们有类似LdapConfigProvider
的
东西吗?
、
、
、
需要使用数据资源细节为Oracle创建
kafka
-
connect
,这些数据资源在LDAP中被
外部
化
。下面是连接器详细信息
kafka
-
connect
-jdbc/sink-quickstart-oracle.properties,其中连接细节(如connection.url,connection.usernamename=test-sink connector.class=io.confluent.
connect
.jdbc.JdbcSinkConnecto
浏览 0
提问于2019-07-29
得票数 0
回答已采纳
1
回答
如何在
Kafka
Sink
中
为不同环境定义s3bucket名称
、
、
、
我目前正在为不同
的
环境设置我
的
亚马逊网络服务s3存储桶,这样我就可以在开发、tqa、stg和prd
中
获得数据。在开发环境
中
,我
的
存储桶
的
名称是s3.dev.
kafka
.sink,而在tqa
中
,它
的
名称是s3.tqa.
kafka
.sink,每个存储桶都与其正确
的
环境相关联。
Kafka
Connect
网站上
的
文档没有指定如何设置环境,所以我使用了以下
浏览 27
提问于2021-10-29
得票数 1
2
回答
如何在消费者MQ Topic
中
消费
Kafka
Topic
、
、
我有一个需求,我需要消费
Kafka
Topic并将其写入MQ Topic。有人能建议我做它
的
最好
的
方法,我是新手卡夫卡。我在confluent
中
读过关于IBM MQ Connector
的
文章,但不知道如何实现它。
浏览 55
提问于2019-05-28
得票数 0
回答已采纳
5
回答
如何查看
kafka
标题
、
我们使用org.apache.
kafka
.clients.producer.ProducerRecord向
Kafka
发送带有标头
的
消息。卡夫卡-控制台-使用者. no只显示我
的
有效载荷,而没有标题。
浏览 1
提问于2019-03-15
得票数 27
回答已采纳
2
回答
不能让我
的
节点应用程序用单独
的
docker组合文件连接到
kafka
、
、
、
、
所有的东西都不能生活在同一个撰写文件
中
,因为它是在项目之间传播
的
。所以,如果我把一个基本
的
ngnix服务器放到我
的
kafka
对接器
中
,我就可以把我
的
节点应用程序连接到它上,这让我
的
头脑发火了。# Micro Services that
connect
to
kafka
services: build: dockerfile<
浏览 0
提问于2018-04-27
得票数 3
1
回答
Kafka
Sink HDFS未识别令牌
、
、
我有以下
属性
(
connect
-standalone.properties):value.converter.schemas.enable= falsekey.converter=org.apache.
kafka
.
connect
.json.JsonConverter value.converter=org.apache.
kafka
.
connect
.json.JsonCon
浏览 0
提问于2018-09-04
得票数 0
回答已采纳
2
回答
为雪花-卡夫卡连接器和cp连接基构建一个组合式对接映像,以便部署在
kafka
连接集群上。
、
我们正在使用kubernetes上
的
kafka
连接集群(头盔图表)。我无法这样做与雪花卡夫卡连接器。有推荐
的
工作场所吗?对于PoC,我在本地机器上运行了
kafka
connector,并在插件目录
中
添加了雪花-
kafka
-连接器jar文件,运行良好。
浏览 2
提问于2019-10-10
得票数 1
回答已采纳
1
回答
Kafka
处理
的
生产者-消费者处理模式
--> *K-topic4*我有一个关于设计方法
的
问题。最好
的
方法是拥有一个可以包含KafkaConsumer和KafkaProducer类
的
处理器模块/类吗?到目前为止,我见过
的
大多数示
浏览 1
提问于2019-01-03
得票数 0
1
回答
卡夫卡连接对阿克卡流卡夫卡
、
、
、
我即将为我
的
组织实现一个基于
Kafka
和Spark
的
流媒体基础设施。然而,当涉及到摄入卡夫卡
的
数据时,我对如何选择最好
的
方法感到困惑。
浏览 3
提问于2017-08-03
得票数 3
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Kafka 1.0.1案例详解之Kafka Connect
深入理解Kafka Connect:转换器和序列化
基于Kafka Connect的流数据同步服务实现和监控体系搭建
Kafka 安装及快速入门
基于Kafka技术栈构建和部署实时搜索引擎的实践
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券