腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如何
理解
Kafka
流
?
apache-kafka
、
apache-kafka-streams
我正在遵循
Kafka
streams文档,我对一些概念感到困惑,我想在这里澄清这些概念。https://
kafka
.apache.org/23/documentation/streams/developer-guide/dsl-api.html 在阅读文档中提到的flatMap时,它采用一条记录并生成零条
浏览 12
提问于2019-09-29
得票数 0
1
回答
如何
理解
kafka
流
聚合?
apache-kafka
、
apache-kafka-streams
TimeOffList类: package com.
kafka
.productiontest.models; import org.apache.
kafka
.
浏览 6
提问于2019-10-07
得票数 0
回答已采纳
1
回答
金刚卡夫卡溪流
go
、
apache-kafka-streams
我正在尝试使用golang在Go中创建一个
kafka
流
客户端。据我所见,这只有在使用Java客户机时才有可能。我做了一些搜索,并找到了其他一些第三方图书馆,但没有正式的。另外,根据我有限的
理解
,我认为
流
是语法糖而不是标准消费者吗?这是对的吗?
浏览 4
提问于2021-12-13
得票数 1
1
回答
Kafka
流
应用程序部署-嵌入式vs应用程序管理框架
apache-kafka
、
apache-kafka-streams
我对卡夫卡
流
很陌生。现在我正试着
理解
这个系统的基本原理。这是以下文章的引文 You just use the library in your app, and start as many instances of the app as you like, and
Kafka
现在我还不清楚它是
如何
工作的。在哪里执行
Kafka
流
的业务逻辑(计算任务)?它将在我的应用程序中执行,还是它只是
Kafka
集群的一个客户端,而这个客户端只准备在
Kafka
集群上执行的
浏览 3
提问于2017-11-15
得票数 0
回答已采纳
1
回答
kafka
流
从
kafka
主题中获取记录调用了多少次poll()
apache-kafka
、
apache-kafka-streams
我正在尝试更多地
理解
kafka
stream processor。我想知道
kafka
流
处理器从
kafka
获取数据的frequency of polling是什么。据我所知,
kafka
流
处理器内部创建了一个
kafka
Consumer客户端,该客户端从
kafka
获取数据(并调用poll())。那么当第一次调用poll()时,下一次会在什么时候再次调用它来从
kafka
获取数据呢?它每秒会发生很多次吗?我怎么知道已经调用了
浏览 43
提问于2019-05-30
得票数 3
回答已采纳
2
回答
流
处理器(低级API)源处理器
如何
从topic获取数据?
apache-kafka
、
apache-kafka-streams
我是
kafka
流
处理器的新手,偶然发现了“拓扑”的关键概念。如下所示: Topology topology = new Topology(); topology.addSource("SOURCE", "source-topic"); 上面的代码片段将创建(如果我的
理解
正确的话)一个名为" source“的源流处理器,并将侦听
kafka
主题"source- topic”。我没有为这个“源”
流
处理器写任何代码,它怎么能从
kafka
浏览 32
提问于2019-03-19
得票数 1
回答已采纳
2
回答
Kafka
流
并发?
apache-kafka
、
apache-kafka-streams
我有一些基本的
Kafka
流
代码,可以从一个主题读取记录,进行一些处理,并将记录输出到另一个主题。
Kafka
streaming是
如何
处理并发的?所有的东西都在一个线程中运行吗?如果它是多线程的,我需要了解它是
如何
工作的,以及
如何
处理资源,比如SQL数据库连接应该在不同的处理线程中共享。相对于其他选项(Spark、Akka、Samza、Storm等),
Kafka
内置的流媒体API是否不推荐用于大流量场景?
浏览 1
提问于2016-10-12
得票数 27
回答已采纳
1
回答
Kafka
流程序正在重新处理已经处理的事件
apache-kafka
、
apache-kafka-streams
过了一段时间,我停止了我的
Kafka
流
应用程序,并重新启动。观察到我的
Kafka
流程序正在处理已经处理过的以前的事件。 根据我的
理解
,
Kafka
流在内部维护每个应用程序id输入主题的偏移量。
如何
验证对卡夫卡流进行了哪些偏移处理?卡夫卡
流
是
如何
坚持这些书签的?卡夫卡
流
将在什么基础上&从哪个卡夫卡抵消,卡夫卡
流
从卡夫卡开始阅读事件?如果
Kafka
蒸汽抛出异常,那么它是否重新处理了已经处理过的事件
浏览 0
提问于2017-11-22
得票数 1
回答已采纳
1
回答
Kafka
Partition+Spark流上下文
apache-spark
、
apache-kafka
、
spark-streaming
场景-我有一个主题,有两个分区,具有不同的数据集集合,比如A,B。我知道dstream可以在分区级别和主题级别使用消息。查询-我们是否可以对每个分区使用两个不同的流上下文,或者对整个主题使用一个流上下文,然后对分区级别的数据进行过滤?我关心的是增加流上下文的no的性能。
浏览 0
提问于2018-05-03
得票数 0
回答已采纳
2
回答
在生产中,推荐在单机上运行多少个
kafka
streams应用?
apache-kafka
、
apache-kafka-streams
而且每台jvm机器可以容纳多达15个
kafka
流
应用程序。所以,我有三个部分的问题2)对于多个
kafka
浏览 0
提问于2018-01-19
得票数 0
回答已采纳
2
回答
Apache Beam over Apache
Kafka
流
处理
apache-kafka
、
apache-beam
、
apache-kafka-streams
、
stream-processing
Apache Beam和Apache
Kafka
在
流
处理方面有什么不同?我也在努力掌握技术和编程上的差异。 请通过您的经验报告来帮助我
理解
。
浏览 1
提问于2018-06-15
得票数 10
1
回答
如果每个主题都有单个分区,可伸缩性是否适用于
Kafka
流
?
apache-kafka-streams
我的
理解
是,根据
Kafka
流
文档,最大可能的并行任务等于一个主题在集群中所有主题之间的最大分区数。 我在卡夫卡集群里有大约60个话题。每个主题只有一个分区。对于我的
Kafka
集群来说,可以用
Kafka
流
实现可伸缩性/并行性吗?
浏览 3
提问于2017-11-16
得票数 0
回答已采纳
1
回答
停止一条流水线并启动一条新流水线后,光束/数据
流
可以保持状态吗?
google-cloud-dataflow
、
apache-beam
我正在尝试
理解
数据
流
/光束是
如何
管理状态的。例如,当使用
kafka
streams时,可以停止并重新启动应用程序,然后从最后一个状态继续。 波束/数据
流
是否也有类似的可能性?
浏览 11
提问于2019-01-16
得票数 1
回答已采纳
1
回答
Apache Samza和Apache
Kafka
流
之间的区别(侧重于并行性和通信)
apache-kafka
、
apache-kafka-streams
在Samza和
Kafka
流
中,数据
流
处理是在处理步骤( Samza中称为“作业”,
Kafka
Streams中称为"processor“)的序列/图(Samza中称为”数据
流
图“,
Kafka
Streams输入(Kakfa主题X) ->(工作者A) ->(工作者B) -输出(
Kafka
主题Y) 正确地说,Samza和
Kafka
流
都使用主题分区概念来复
浏览 2
提问于2016-12-09
得票数 27
1
回答
如何
确保通过卡夫卡进行的微服务交互是正确的?
apache-kafka
、
microservices
、
scalability
想象一下,我有一个微服务,它会发出
kafka
事件,而微服务处理程序会通过
kafka
侦听器来处理它。处理程序微服务应该扩展,我相信我应该通过我
流
中的
kafka
组if来实现它,但是我不明白如果一个微服务已经开始处理一个事件,其他处理程序将
如何
不处理发出的
kafka
事件的机制。你能帮我
理解
一下吗?
浏览 1
提问于2020-08-09
得票数 0
回答已采纳
1
回答
使用Spring Boot的
Kafka
-Streams示例
spring-boot
、
apache-kafka
我是新手阿帕奇
Kafka
,我已经创建了一个简单的Spring启动生产者和消费者项目,可以生产和消费正确的消息,但现在我想与
Kafka
流
工作,但面临着困难找到一个简单的POC的
Kafka
流
与SpringBoot,有人可以与我分享一些简单和易于
理解
的项目,这将是非常有帮助的。
浏览 60
提问于2020-08-15
得票数 0
回答已采纳
2
回答
使用弹簧执行器暴露
kafka
流
指标(普罗米修斯)
apache-kafka-streams
、
spring-boot-actuator
我正在使用Springboot 2运行
Kafka
Stream应用程序。我想在host:8080/actuator/prometheus上以普罗米修斯格式提供我的卡夫卡数据
流
指标 我没办法拥有这个。我不确定我是否
理解
kafka
流
指标是
如何
导出的。
浏览 46
提问于2019-09-25
得票数 7
1
回答
如何
将Azure事件中心(
kafka
界面)的事件集成到google云发布/订阅
azure
、
apache-kafka
、
google-cloud-pubsub
我有一个需求,我需要在Azure事件中心使用
kafka
主题。需要创建将使用作为参数提供的主题的POST端点。消息必须以
kafka
主题为属性,以消息内容为主体,在公共子主题上发送。 这是一个很高的要求。我看过以了解
如何
实现这一目标。但是,如果有人实时地实现了这一功能,即从Azure事件中心到google的事件,或者曾经进行过类似的实现,请提供帮助。
浏览 1
提问于2021-06-03
得票数 1
回答已采纳
1
回答
如何
在Spark 1.6中解析从
Kafka
Stream接收到的Spark Streaming中的Proto Buf消息
apache-spark
、
apache-kafka
、
protocol-buffers
、
spark-streaming
、
kafka-producer-api
在这个项目中,我要从
Kafka
流
接收解析数据(Proto Buf消息)我正在尝试
理解
下面的代码来开始解析protobuf消息。spark session example") val ds1 = spark.readStream.format("
kafka
option("
kafka
.bootstra
浏览 0
提问于2017-06-07
得票数 2
1
回答
Kafka
消费者诉Apache Flink
apache-kafka
、
spark-streaming
、
avro
、
kafka-consumer-api
、
apache-flink
我做了一个poc,在其中我使用火花
流
读取来自
Kafka
的数据。但是我们的组织要么使用Apache或者
Kafka
使用者来读取Apache中的数据作为一个标准过程。所以我需要用
Kafka
消费者或者Apache来代替
Kafka
流媒体。在我的应用程序用例中,我需要从
kafka
读取数据,过滤json数据,并在cassandra中放置字段,因此建议使用
Kafka
使用者,而不是flink/其他
流
,因为我实际上不需要对
Kafka
json数
浏览 4
提问于2017-03-26
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Kafka原理解析(二)
【流处理】Kafka和KSQL实战_构建流数据管道
【流处理】Spark结构化流处理实例(Kafka)
使用Spark Streaming处理Kafka数据流
带你了解大数据消息流系统Kafka
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券