腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
spark-streaming
将
数据
发布
到
kafka
topic
时
复制
apache-spark
、
apache-kafka
、
spark-streaming
、
kafka-producer-api
、
spark-streaming-kafka
我有一个火花流应用程序,它
使用
来自
topic
1的
数据
并解析它,然后将相同的记录
发布
到
两个过程中,一个是
topic
2,另一个是hive表。
将
数据
发布
到
kafka
topic
2
时
,我看到重复项,但在配置单元表中看不到重复项
使用
spark 2.2,
Kafka
0.10.0 KafkaWriter.write(spark, store
浏览 9
提问于2019-05-20
得票数 0
2
回答
Clickhouse
Kafka
主题加入:
apache-kafka
、
clickhouse
我有两个(以及更多)
Kafka
主题,我需要加入他们。我的问题来自我在博客/StackOverflow上读到的内容...有两个选项: 1)将它们都流式传输,Clickhouse
Kafka
引擎/spark流,然后运行join,这在Clickhouse中是不推荐的2)构建一个包含所有列的表,并
使用
Clickhouse引擎/spark streaming更新相同的入口? 任何建议
浏览 22
提问于2019-03-06
得票数 1
2
回答
如何向
kafka
发送连续的HTTP流
数据
?
apache-kafka
、
kafka-producer-api
、
apache-kafka-connect
我们有一个通过HTTP发送时间序列
数据
的系统(示例系统A)。在这里,我有一个疑问,如何
发布
通过HTTP协议压缩的时间序列
数据
?我有下面的url来收集
数据
: 2017-08-17 00:00:21信息: x8,86832364748
浏览 34
提问于2017-08-23
得票数 0
2
回答
Apache :消费者群体
复制
apache-kafka
我想知道是否有一种快速
复制
卡夫卡消费者群体的方法。
浏览 0
提问于2019-05-17
得票数 4
回答已采纳
2
回答
如何在Strimzi中
使用
Kafka
连接
kubernetes
、
apache-kafka
、
apache-kafka-connect
、
strimzi
我正在
使用
带有strimzi操作符的
Kafka
,我创建了一个
Kafka
集群,并
使用
yml文件部署了
Kafka
连接。但在这之后,我完全不知道下一步该做什么。我了解
到
Kafka
connect用于
将
数据
从源
复制
到
Kafka
集群,或者从
Kafka
集群
复制
到
另一个目标。我想
使用
Kafka
connec
浏览 4
提问于2020-11-20
得票数 2
2
回答
在Camel-
Kafka
中创建并发的
Kafka
消费者
java
、
apache-kafka
、
apache-camel
、
kafka-consumer-api
、
kafka-partition
我
使用
的是camel-
kafka
版本的2.14.3。下面是
kafka
URI: <from uri="
kafka
:{brokerlist}?
topic
={
topic
-name}&zookeeperHost={zookeeperHost}&zookeeperPort={zookeeperPort}&groupId={groupId-name}&consumerStreams=2" />
浏览 85
提问于2020-04-21
得票数 2
回答已采纳
1
回答
将
实时连续日志
数据
发送给
kafka
并进行消费
python
、
apache-kafka
、
apache-nifi
日志
将
全天候连续生成。我有生成日志的服务器的凭据。我需要将这些日志
数据
发送到
kafka
,并
使用
python (通过应用regex)从这些日志中提取一些错误信息,并
使用
我提取的
数据
准备一个实时仪表板。如何获取持续生成
到
kafka
的日志
数据
?我需要
使用
NiFi吗?我对这个场景是新的,所以如果你理解我上面的要求,请给出一些关于我如何实现这一点的见解。谢谢。
浏览 14
提问于2020-03-02
得票数 0
1
回答
如何永久删除
kafka
话题,防止话题重造?
apache-kafka
注意:在创建该主题
时
,默认情况下我的delete.
topic
.enable值为false。
浏览 2
提问于2016-08-30
得票数 0
1
回答
如何在
kafka
中创建两个具有相同消息集的不同主题?
apache-kafka
要在
Kafka
中创建主题,命令为 bin/
kafka
-create-
topic
.sh --zookeeper localhost:2181 --replica 1 --partition 1 --
topic
但是我如何创建两个不同的主题,两个主题在
kafka
中都有相同的消息集?
浏览 0
提问于2015-08-04
得票数 0
2
回答
如何在芭蕾舞服务api中执行
kafka
命令
apache-kafka
、
ballerina
、
ballerina-kafka
有没有可能在芭蕾舞女演员身上做到这一点?
浏览 1
提问于2018-10-08
得票数 0
1
回答
如何
使用
kafka
连接来
使用
avro
数据
?
apache-kafka
、
avro
、
apache-kafka-connect
、
kafka-rest
我已经创建了一个连接器来处理Avro
数据
。我能够
将
数据
发布
到
一个主题中。但我不会将
数据
输入
到
输出主题中。我已经检查了连接器和rest代理的日志,没有显示错误。", "headers": "Content-Type:application/vnd.
kafka
.json.v2+json|Accept:application/vnd.
kafka
.v2+json&qu
浏览 7
提问于2022-04-01
得票数 0
1
回答
如何
将
一些信息从一个卡夫卡主题
复制
到
另一个从巴什?
apache-kafka
、
kcat
我希望从
topic
1开始
复制
10条消息
到
topic
2。for (( i=1; i<=10; i++ )); do bin/
kafka
-console-consumer.sh --bootstrap-server:9092 --
topic
TOPIC
2 < /tmp/_
top
浏览 9
提问于2020-04-02
得票数 4
回答已采纳
1
回答
卡夫卡集群增加
复制
因子不起作用
apache-kafka
、
kafka-cluster
嗨,我遇到了一个奇怪的问题,增加了卡夫卡的
复制
系数
时
,遵循本文档中的步骤:kill -9 [
kafka
-pid] 当我从服务器-1运行控制台-
使用
者
时
浏览 1
提问于2018-11-29
得票数 0
2
回答
Kafka
0.8,可以
使用
java代码创建分区和
复制
的主题吗?
apache-kafka
在
Kafka
0.8beta中,可以
使用
下面提到的命令创建主题上面的命令
将
创建一个名为"test“的主题,每个分区有3个分区和2个副本。到目前为止,我发现
使用
Java我们可以创建一个生产者,如下所示 Producer<String, String&
浏览 0
提问于2013-08-14
得票数 12
3
回答
如何
将
一个主题从卡夫卡集群
复制
到
另一个卡夫卡集群?
apache-kafka
正如卡夫卡文档所显示的那样,一种方法就是通过
kafka
.tools.MirrorMaker实现这一功能。但是,我需要将一个主题(比如带有1个分区的测试)(其内容和元
数据
)从生产环境
复制
到
没有连接性的开发环境中。不过,我可以在环境之间进行简单的文件传输。我的问题是:如果我
将
*.log和.index从文件夹test-0移到目的地
Kafka
集群,这就足够了吗?或者还有更多我需要做的,像元
数据
和动物园相关的
数据
,我也需要移动?
浏览 13
提问于2015-07-21
得票数 5
回答已采纳
1
回答
模式注册表:部分共享/授权系统
apache-kafka
、
avro
、
confluent-platform
、
confluent-schema-registry
我们需要与另一家公司共享一部分模式注册表,并且不希望他们看到所有的模式。他们也需要为自己的公司做同样的事情。
浏览 3
提问于2018-04-27
得票数 0
1
回答
uber-go/zap记录器如何记录
Kafka
主题?
go
、
logging
、
kafka-topic
我可以得到一个示例,
将
日志
发布
到
kafka
topic
。我目前正在
使用
uber-go/zap logger和https://github.com/confluentinc/confluent-
kafka
-go进行
发布
。
浏览 37
提问于2020-09-17
得票数 0
1
回答
在事件驱动体系结构中,是否应该以与事件相同的方式向主题
发布
命令?
events
、
microservices
、
event-driven
通常,我们会将“已经发生的事情”作为事件
发布
到
Kafka
主题中,当我们想要执行命令
时
,我们称之为API。
将
命令(例如创建发票)
发布
到
topic
...and,让发票服务订阅该主题并在
使用
命令
时
执行这些命令,这有什么问题吗?或者更多的generically...is --它可以
使用
Kafka
主题来发出异步命令,还是应该只用于
发布
“发生了什么”类型的事件?
浏览 4
提问于2021-02-24
得票数 1
1
回答
Spark-Streaming
挂起,
kafka
最早开始偏移(
Kafka
2,spark 2.4.3)
apache-spark
、
apache-kafka
、
kafka-consumer-api
、
spark-structured-streaming
我对
Spark-Streaming
和
Kafka
有意见。在运行示例程序从
Kafka
主题消费并将微批结果输出到终端
时
,当我设置选项
时
,我的作业似乎挂起了: df.option("startingOffsets", "earliest") 从最新的偏移量开始工作很好我在想,也许这是一个资源问题--我正在尝试从一个有相当多
数据
的主题中阅读。但是,我似乎没有内存/cpu问题(
使用
本地*集群运行此作业)。= "
to
浏览 21
提问于2019-09-18
得票数 4
回答已采纳
2
回答
KSQL:如何
将
JSON字符串转换为原始JSON
apache-kafka
、
apache-kafka-streams
、
ksqldb
我需要基于特定的JSON属性
将
消息从一个
Kafka
主题
复制
到
另一个主题。也就是说,如果属性值是"A“-
复制
消息,否则不要
复制
。我正试图找出用KSQL最简单的方法来实现它。”定义为VARCHAR,我可以
使用
EXTRACTJSONFIELD进一步检查该属性。CREATE OR REPLACE STREAM Test1 ()
kafka
_
topic
= 'So
浏览 7
提问于2022-07-22
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
加米谷大数据:2入门介绍kafka0.10.x
Kafka 安装及快速入门
太强了!Apache 开源超级项目Pulsar
如何将kafka中的数据快速导入Hadoop?
CTO观点:如何为企业选择合适的消息系统?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券