腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
使用
danielwegener
Kafka
附加
器
定制
Kafka
消息
中
的
ZonedDateatime
java
、
apache-kafka
、
logstash
我
使用
github.
danielwegener
.logback.
kafka
.kafkaappender在Apache上发布应用程序日志或
消息
Kafka
.The
消息
包括一些字符串字段和
ZonedDateatime
但是当
消息
记录在
kafka
中
时,它会产生错误
的
ZonedDateatime
。表示它记录了exatra
ZonedDateatime
属性并显示了大型json。
浏览 14
提问于2020-01-07
得票数 1
回答已采纳
2
回答
将日志写入日志文件以及
kafka
logging
、
apache-kafka
、
logback
、
distributed-system
我目前有一个微服务环境,每个服务都将日志写到它自己
的
文件
中
。我想实现分布式日志记录,为此我找到了一个
使用
elk
的
解决方案。但我不想干扰我当前将日志写入多个文件
的
体系结构。是否可以将日志写入文件,然后将日志发送到
kafka
topic。 PS。我目前正在
使用
log back进行日志记录。
浏览 0
提问于2018-06-14
得票数 0
1
回答
Logback
Kafka
附加
器
未将日志写入主题
java
、
apache-kafka
、
logback
我正在尝试对Logback
Kafka
附加
器
做一个简单
的
测试。下面是我放在src/ logback.xml /logback.xml
中
的
资源:在Windows上
使用
:
kafka
-server-start.bat config\server.properties启动
Kafka
浏览 2
提问于2018-03-22
得票数 0
1
回答
Apache
kafka
能否提供异步
消息
传递服务?
apache-kafka
、
kafka-consumer-api
、
kafka-producer-api
我打算
使用
Spring boot和webSocket以及
Kafka
实现一个聊天室,但是我需要知道
Kafka
是否提供了异步
消息
传递服务
浏览 2
提问于2019-07-02
得票数 0
1
回答
Apache NiFi往返合流云
apache-kafka
、
apache-nifi
、
confluent-cloud
我正在尝试将
定制
的
db数据(从Microsoft表中派生,在其他表上连接->是
如何
到达
的
)发布到
Kafka
集群。我能够发布和
使用
来自Apache NiFi - to /- Apache
Kafka
的
消息
。 但我无法在合流云中发布来自Apache NiFi到
Kafka
的
消息
。是否可以
使用
创建
的
API键发布/消费来自Apac
浏览 8
提问于2022-07-27
得票数 0
1
回答
卡夫卡连接与溪流对决
apache-kafka
、
apache-kafka-streams
、
apache-kafka-connect
我试着理解Connect给你买了什么流不给你
的
东西。我们有一个应用程序
的
一部分,我们想要
使用
一个主题并写到mariadb。为什么这是个坏主意?JDBC连接
器
给你买了什么?
浏览 0
提问于2019-01-18
得票数 11
回答已采纳
1
回答
为卡夫卡连接打包一个自定义
的
Java `partitioner.class`插件,在合流4.1 +
Kafka
1.1
中
?
apache-kafka
、
apache-kafka-connect
我已经成功地
使用
了一个用Java编写
的
简单
的
自定义分区
器
类,用于在Confluent3.2.x(
Kafka
0.10.x)上
使用
Kafka
接收
器
。我想升级到合流4.1 (
Kafka
1.1),并正在经历错误。
Kafka
的
插件加载机制似乎在CP 3.3.0
中
发生了变化。如果我试图继续
使用
遗留
的
CLASSPATH插件机制,当我尝试
使用</em
浏览 0
提问于2018-05-01
得票数 2
回答已采纳
1
回答
为什么要将元数据添加到这个
Kafka
连接
器
的
输出
中
?
java
、
apache-kafka
、
kafka-consumer-api
、
apache-kafka-connect
我有一个
Kafka
连接
器
,为poll()实现
中
的
SourceTask方法提供了以下代码。Schema.STRING_SCHEMA, "bar") Collections.addAll(records, sourceRecords); }
浏览 1
提问于2016-11-30
得票数 0
回答已采纳
1
回答
如何
在卡夫卡
中
均匀分布数据,通过火花产生信息?
apache-spark
、
apache-kafka
、
spark-streaming-kafka
我有一个流作业,它将数据写入
Kafka
,我注意到一个
Kafka
分区(#3)比其他分区接收更多
的
数据。188270700 | 6100140089 | 6288410789 |我找到了一个选项--
使用
Kafka
分区数重新划分输出数据集(5)。
浏览 2
提问于2020-05-22
得票数 1
回答已采纳
1
回答
是否可以用卡夫卡连接来“插入”卡夫卡
的
信息?
jdbc
、
apache-kafka
、
upsert
、
apache-kafka-connect
、
confluent-platform
我
使用
的
是合流3.3.0。我
使用
jdbc-source-connector将
消息
插入到我
的
Oracle表
中
的
Kafka
中
。这个很好用。 我想检查一下是否可以“重新插入”。我
的
意思是,如果我有一个学生表,有3列id(数字)、name(varchar2)和last_modified(时间戳)。每当我插入新行时,它都会被推送到
Kafka
(
使用
timestamp+auto增量字段)。但是
浏览 1
提问于2018-08-01
得票数 0
2
回答
kafka
-log4j-appender 0.9不起作用
java
、
logging
、
log4j
、
apache-kafka
我在我
的
log4j.properties
中
添加了一个log4j
kafka
附加
器
,但它并没有像我预期
的
那样工作。在我发布这个问题之前,我检查了我
的
基于
的
log4j.properties,它大约是0.8。然而,我不是幸运。这是我
的
log4j.properties log4j.appender.
Kafka
=org.apache.
kafka
.log4jappender.KafkaLog4jAppender
浏览 8
提问于2016-02-25
得票数 5
3
回答
使用
IBM集成总线从Apache
Kafka
到IBM MQ
的
消息
apache-kafka
、
ibm-mq
、
ibm-integration-bus
从IIBv10.0.0.7开始,我可以
使用
KafkaConsumer节点来接收发布在
Kafka
主题上
的
消息
。我需要一些客户端,这将能够接收来自
Kafka
的
消息
,并将其放在IBM MQ
中
,并从IBM MQ获得
消息
,并发布到
Kafka
主题中。我已经有IIB和IBM MQ了。
Kafka
是集成系统之一
的
消息
系统。是否可以
使用
KafkaConsumer节点
浏览 0
提问于2017-10-01
得票数 1
1
回答
卡夫卡连接SourceTask提交()和commitRecord()方法
jdbc
、
apache-kafka
、
apache-kafka-connect
我刚接触过
Kafka
connector,并试图为我
的
定制
JDBC源连接
器
(从oracle DB读取)构建确认机制。因此,每当数据被添加到
Kafka
主题时,我都希望更新我
的
源DB表
中
的
状态/偏移量。
Kafka
connect
的
汇合文档提到了两个方法:提交和commitRecord,但是声明“API是为具有
消息
确认机制
的
源系统提供
的
”(ref:,参考部分:
浏览 3
提问于2021-02-10
得票数 0
2
回答
在
kafka
上复制文件并防止重复数据
apache-kafka
、
kafka-producer-api
我感兴趣
的
是实时在
kafka
通道上发布文件
的
内容(我可以在python
中
这样做),但我想知道什么策略可以有效地防止在发行者崩溃时发送重复
的
数据,并且我需要重新启动它?卡夫卡
中
是否有任何东西可以直接帮助我,或者我必须明确地跟踪我迄今发布
的
文件偏移量? 我认为另一种方法可能是由发布者引导已经发布
的
数据并计数接收到
的
字节,然后再进行文件查找和恢复?
浏览 1
提问于2018-05-21
得票数 0
回答已采纳
1
回答
Scala IntelliJ库导入错误
scala
、
apache-spark
、
intellij-idea
、
apache-kafka
、
sbt
我是scala
的
新手,我正在尝试在我
的
build.sbt中导入以下库。/
kafka
/
kafka
-clients_2.11/2.3.1/
kafka
-clients_2.11-2.3.1.pom[info] shutting down sbt server)name := "Stream
浏览 3
提问于2020-06-29
得票数 0
4
回答
什么是真正
的
“卡夫卡分区是不变
的
”?
apache-kafka
、
offset
、
partition
在我读过
的
所有
Kafka
教程
中
,他们都提到"
Kafka
分区是不可变
的
“。但是,我也从这个站点上读到,
Kafka
会不时地删除分区
中
的
旧
消息
(取决于您在log- that命令
中
设置
的
保留时间)。您可以从下面的屏幕截图中看到,在删除分区
中
的
重复键之后,分区
中
的
数据明显发生了变化:所以我
的
问题是,
浏览 8
提问于2019-10-03
得票数 1
回答已采纳
1
回答
我在用卡夫卡对吧?
apache-kafka
、
streaming
、
kafka-consumer-api
、
kafka-producer-api
、
apache-kafka-connect
我安装了卡夫卡"
kafka
_2.12-0.11.0.0".然后,我在IntelliJ上创建了一个java项目(包括
kafka
)。我还包括了所需
的
SQLite jar。 我最初考虑
使用
confluent.
kafka
连接,但是由于我
的
机器是基于windows
的
,所以CLIplatform无法工作。因此,我编写了一个独立
的
java程
浏览 0
提问于2018-06-11
得票数 1
1
回答
log4j
kafka
附加
器
不
使用
已定义
的
ConversionPattern
log4j
、
apache-kafka
、
apache-storm
我正在运行一个
使用
log4j进行日志记录
的
Storm集群。除了标准
的
基于文件
的
日志记录之外,我还想添加一个
kafka
附加
器
。=
kafka
.producer.KafkaLog4jAppenderlog4j.appender.
KAFKA
.Port=9092=%d{yyyy-MM-dd HH:mm:ss} %c{1}
浏览 0
提问于2012-12-20
得票数 0
回答已采纳
3
回答
如何
从春季云流应用程序启动源生成
的
kafka
消息
中
删除内容类型标头
java
、
spring
、
spring-boot
、
spring-cloud-stream
对于twitter源,如果我们
使用
@StreamListener (Sink)以外
的
定制
卡夫卡用户,它将为每条卡夫卡
消息
创建一个30位头。@StreamListener正确地将
消息
发送到带注释
的
方法(没有标头)。问题是,对于每个源,头
的
大小是不同
的
。那么,我
如何
动态地理解
消息
的
标题大小,因为我
使用
的
是
定制
的
kafka</
浏览 5
提问于2017-11-29
得票数 4
回答已采纳
3
回答
读取字段‘topic_metadata’时出错:读取大小为1139567
的
数组时出错,只有45个字节可用
apache-kafka
、
kafka-consumer-api
e.toString()); consumer.close(); }我还引用了我
的
生产者代码Properties props = new Properties(
的
配置--启动zookeeper bin
浏览 3
提问于2016-06-02
得票数 8
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Kafka 安装及快速入门
Kafka之安装部署
大数据时代:Kafka如何做到1秒发布百万条消息
Kafka详细的设计和生态系统
“Spring和Kafka”Kafka整合Spring 深入挖掘-第1部分
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券