腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(63)
视频
沙龙
1
回答
使用
Akka
Stream
和
Kafka
offset
提交
将
事件
从
Kafka
流式
传
输到
Couchbase
、
、
、
、
我正在尝试设计一个
Akka
Stream
,
使用
Alpakka来读取
kafka
主题中的
事件
,并将它们放到
Couchbase
中。
stream
logging") .runWith(Sink.seq) 我所谓“不知何故”的意思是,这个流实际上是
从
主题中读取
事件
,并将它们作为json文档放到
Couchbase
中,尽管我不知道如何
将
消费者偏移量
提交
给如果我已经清楚地理解
浏览 21
提问于2019-10-18
得票数 0
2
回答
使用
Couchbase
在neo4j中插入/更新文档
、
、
、
我想在
Couchbase
中插入/更新文档,它应该自动插入/更新到neo4j数据库中。他们有没有插件或软件来做同样的事情?如何实现此功能?
Couchbase
企业版: 6.6 Neo4j企业版: 4.1.3 我读了这个博客https://dzone.com/articles/
couchbase
-amp-jdbc-integrations-for-neo4j
浏览 26
提问于2020-11-24
得票数 0
回答已采纳
1
回答
为什么启用自动
提交
功能的
Kafka
客户端在消费者关闭期间
提交
最新生成的消息的偏移量,即使消息尚未被消耗?
、
、
、
、
TLDR: 我有一个简单的scala应用程序,它有一个
Akka
参与者,它
使用
来自
Kafka
主题的消息,如果在消息处理过程中出现异常,则将消息生成到相同的主题,
Kafka
客户端正在
提交
最新产生的消息的偏移量,就好像它已经被消耗了一样。" %% &quo
浏览 9
提问于2022-01-30
得票数 2
回答已采纳
2
回答
Kafka
- scala -处理多条消息
、
、
、
是否可以由
Kafka
Producer对象发送字符串数组。我想从“topic1”文本中获取一些信息,然后将其分割成单个单词,并将其发送到另一个主题。valueDeserializer = new StringDeserializer) .withGroupId("
kafka
-sample") .withProperty(ConsumerConfig.AUTO_
OFFSET
_R
浏览 1
提问于2017-07-28
得票数 0
回答已采纳
2
回答
从
kafka
中的投票记录创建批次
、
、
initialize(topic, consGroup, STREAMSERDE.STRINGDESER, STREAMSERDE.JSONDESER, props); logger.debug("record.
offset
() = " + record.
offset
() + " :
浏览 1
提问于2019-01-22
得票数 0
1
回答
将
生产者流程连接到图形
、
我是新
使用
akka
streams
kafka
(
和
akka
streams一般)。我正在尝试构建一个图表,以便
将
消息发布到不同的主题。如何
将
生产者作为流进行连接,以便
提交
已处理的消息?我试过
使用
Producer.flow,但我无法获取commitScaladsl import
akka
.
kafka
.ProducerMessage.Messageimplicit
浏览 12
提问于2017-08-14
得票数 0
回答已采纳
6
回答
Kafka
Streams:
流式
计算、
Kafka
Streams的特点
和
架构是什么?
Kafka
在0.10版本推出了
Stream
API,提供了对存储在
Kafka
内的数据进行
流式
处理
和
分析的能力。小白一名,各位大佬能给我解释一下
流式
计算、
Kafka
Streams的特点
和
架构吗?谢谢!
浏览 2102
提问于2018-09-14
1
回答
当卡夫卡分区出现滞后时,
Akka
Kafka
消费者处理率急剧下降。
、
、
、
、
MSK集群-10个主题-每个=> 400总领先分区40个分区 为了在系统中实现高吞吐量
和
并行性,我们实现了
akka
流-
kafka
用户分别订阅每个主题分区,从而实现了用户
和
分区之间的1:1映射。根据RangeAssignor分区策略(默认策略),每个分区将被分配给不同的用户,400个消费者将
使用
400个分区,20个消费者
将
保持未
使用
状态。我们已经核实了这一分配,看上去不错。" %% "
akka
-http"
浏览 4
提问于2021-10-28
得票数 2
2
回答
主题的某些分区的
kafka
偏移
和
滞后未知
、
、
、
我
使用
的是来自的消费者。
kafka
版本为0.10.1.0。下面是我的消费者的配置: "bootstrap.servers":如果有一条消息到达某个分区,而该分区的
offset
和
lag未知,则
offset
和
lag
将
重新可见,该消息将被消费。当有一些分区的当前偏移量
和</em
浏览 0
提问于2018-10-02
得票数 2
1
回答
TimeoutException:当我尝试
从
kafka
读取到flink时,在确定分区位置之前,60000ms的超时已过期
、
、
、
:8081",} 我正在
使用
docker-compose来运行包含以下图像的
kafka
堆栈容器: zookeeper:3.4.9,confluentinc/cp-
kafka
:5.5.1,confluentinc/cp-schema-registry:5.5.1,confluentinc/cp-
kafka
-connect:5.5.1 我
使用
的是flink 1.12.0,下面是我的WOR
浏览 670
提问于2021-02-01
得票数 0
回答已采纳
2
回答
将
日志写入日志文件以及
kafka
、
、
、
我想实现分布式日志记录,为此我找到了一个
使用
elk的解决方案。但我不想干扰我当前
将
日志写入多个文件的体系结构。PS。我目前正在
使用
log back进行日志记录。
浏览 0
提问于2018-06-14
得票数 0
1
回答
Kafka
consumerGroup丢失了所有分区的已
提交
偏移量信息,并从一开始就开始
使用
偏移量。
、
、
我一直在
使用
kafka
主题的
事件
,在我的应用程序中处理同样的
事件
已经有一段时间了。该主题有20个分区,我
将
kafka
并发设置为10,因为我
使用
来自
kafka
主题的
事件
和我的应用程序的2个副本。我
将
提交
模式设置为手动立即,因此,一旦应用程序确保
事件
得到处理,我希望
提交
分区偏移量。一切都很好,直到卡夫卡服务器的一个或多个节点被关闭并重新启动的一天。我们
使用</
浏览 9
提问于2021-01-30
得票数 2
2
回答
如何定期向hadoop提供数据
、
我发现了如何
从
mysql加载数据,但它正在导出完整的数据库,有没有办法保持我的mysql DB
和
Hadoop之间的数据同步?
浏览 2
提问于2020-03-07
得票数 1
1
回答
Alpakka
Kafka
Java测试
、
、
、
、
我试图为一个应用程序编写Junit测试,该应用程序
使用
kafka
流
将
数据
从
kafka
发送到websocket连接。我已经能够在本地运行应用程序,发布到主题并看到套接字连接上返回的数据。;import
akka
.
stream
.testkit.javadsl.TestSinkthis.cleanUpAdmin
浏览 3
提问于2022-02-09
得票数 0
5
回答
卡夫卡对卡夫卡流
、
、
、
、
我知道,基于
Akka
的方法实现了反作用规范,并处理了
kafka
流似乎缺乏的背压
和
功能。 卡夫卡流比卡夫卡流有什么优势?
浏览 6
提问于2017-08-11
得票数 49
回答已采纳
1
回答
快速处理主题
和
慢处理主题-
Akka
Kafka
、
、
、
、
我有一个问题,我需要优先处理一些
事件
,以便更早地处理,而有些
事件
则是在高优先级
事件
之后进行的。这些
事件
来自一个源,我需要根据它们的
事件
类型优先级来确定流的优先级,要么在高优先级接收器中转发,要么在低优先级接收器中转发。我用的是卡夫卡
和
卡夫卡流。
浏览 3
提问于2021-09-22
得票数 0
回答已采纳
1
回答
kafka
、Spring Cloud
stream
、Spring cloud
stream
绑定器
kafka
的版本兼容性
、
我
使用
的是1.0.0的
Kafka
-client版本
和
2.0.2的Spring-cloud-
stream
版本。现在我想知道Spring-cloud-
stream
-binder-
kafka
的版本,以便
将
事件
流式
传
输到
kafka
。(KafkaTopicProvisioner.java:259) ~spring-cloud-
stream
-binder-
kafka
-core
浏览 73
提问于2019-01-08
得票数 1
2
回答
星火流应用订阅相同的
kafka
主题
、
、
、
我是新的火花
和
卡夫卡和我有一个稍微不同的
使用
模式火花流与卡夫卡。_2.10 - 0.10.1.1 kafkaParams.put("auto.
offset
.reset", "latest"); kafkaParams.put("group.id", "test-consumer-group//
浏览 3
提问于2017-08-29
得票数 4
回答已采纳
2
回答
我能把卡夫卡连接服务作为独立的服务吗?
、
我在第一服务器
使用
apache
kafka
,在第二服务器
使用
apache动物园管理员。我希望在其他server.Is中有卡夫卡连接服务,可以
使用
独立的服务。我需要阿帕奇卡夫卡连接或融合卡夫卡连接。
浏览 7
提问于2022-06-29
得票数 0
1
回答
在ksqlDB中处理“排除的”更新
、
我以这种方式创建了一个流
和
一个表: CREATE
STREAM
user_
stream
WITH (
kafka
_topicuser_topic', value_format='json', partitions=1); SELECT LATEST_BY_
OFFSET
(name) as name, LATE
浏览 8
提问于2021-06-29
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
重温 Apache Kafka
为什么BAT互联网都爱用kafka?看完你就知道了
初探Kafka Streams
Spark Streaming和Kafka集成深入浅出
Spark Streaming 中管理 Kafka Offsets 的几种方式
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券