腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Kafka
源
连接器
中
只有
一次
语义
、
在阅读了
Kafka
幂等操作和事务之后,我想看看
Kafka
源
连接器
是否使用了它们
中
的任何一个,以确保
只有
一次
语义
。经过一点阅读,我发现
源
连接器
使用了自己的某种“偏移量”,这让它存储了它所做的最后
一次
操作,然后我看到 用于MongoDB的Debezium
源
连接器
只能实现至少
一次
语义
。所以我的问题是,为什么MongoDB
源<
浏览 11
提问于2020-01-17
得票数 2
回答已采纳
1
回答
Akhq显示,即使所有消息都被消耗,消费者延迟始终是用于jdbc接收器
连接器
的1
、
、
我们使用
Kafka
流(2.5.0JAR)和java应用程序(
只有
一次
语义
)和Jdbc接收器
连接器
(UPSERT模式)向db写入数据。流动:-akhq用户界面显示总是滞后1,即使所有消息都是有效消息。所有的信息都会被消耗掉。是因为
连接器
没有"isolation.level“作为"read_committed”,目前是"read_uncommited“。滞后情况如下图所示。
浏览 8
提问于2021-06-14
得票数 0
回答已采纳
1
回答
卡夫卡-连接框架实现精确
一次
语义
所需的设置
我的印象是,在
Kafka
中
,您可以在.properties文件中指定一些参数来打开精确的
一次
语义
。我一直无法找到这些设置,但我找到了实现这些设置的其他方法,如 通过改变卡夫卡连接
中
的设置,是否有可能实现精确的
一次
语义
?
浏览 3
提问于2016-09-13
得票数 0
回答已采纳
1
回答
卡夫卡和其他目的地正好
一次
我使用的是卡夫卡2,看起来就像
只有
一次
是可能的 在这里,以上所有的主题之间的工作(
源
和目的地是主题)。是否有可能与其他目的地准确地进行
一次
?
浏览 1
提问于2018-08-08
得票数 1
2
回答
将PostgreSQL数据复制到基图斯/格林梅利?
、
、
、
、
我是否需要将逻辑级别的WAL流到
Kafka
中
,然后编写自定义逻辑将其转换为目标数据库上的SQL语句?有什么工具吗?
浏览 0
提问于2021-02-04
得票数 0
1
回答
我们可以使用Apache
Kafka
作为文件监视系统吗
、
、
我在HDFS.Our中有源路径和目标路径,UpStream将文件放在
源
路径
中
,如果有任何新文件从
源
路径复制到目标路径,我们会检查是否有新文件添加到
源
路径
中
。我的问题是,我们可以在这里使用
Kafka
吗?如何使用?
浏览 0
提问于2017-09-27
得票数 0
2
回答
Flink -如何解决错误这个工作是不可停止的。
、
我试图通过flink停止停止一项工作但是,CLI引发错误,不允许我停止作业。我可以取消它。这里的原因是什么? 程序在以下异常情况下结束: org.apache.flink.util.FlinkException: c7196bb1d21d679efed73770a4e4f9ed无法停止这项工作。在org.apache.flink.client.cli.CliFrontend.lambda$stop$5(CliFrontend.java:557) at org.apache.fl
浏览 1
提问于2018-12-12
得票数 0
回答已采纳
2
回答
Kafka
连接接收器任务忽略文件偏移存储属性。
、
我在使用汇合JDBC
连接器
时遇到了非常奇怪的行为。我很确定这与汇流堆栈无关,而是与
Kafka
-connect框架本身有关。因此,我将offset.storage.file.filename属性定义为默认/tmp/connect.offsets并运行我的接收器
连接器
。显然,我期望
连接器
在给定的文件
中
持久化偏移量(它在文件系统
中
不存在,但是它应该自动创建,对吗?)文件上说: offset.storage.file.filename用于存储
连接器
偏移量的
浏览 3
提问于2017-02-06
得票数 13
2
回答
FilePulse SourceConnector
、
我想继续用FilePulse
源
连接器
在ksqldb
中
读取csv文件,但是它不能正常工作。( a)
连接器
只读取文件
一次
或( b)
连接器
从文件
中
读取所有数据,但在这种情况下,
kafka
主题中存在重复(每次
连接器
读取附加文件,然后将所有数据从文件插入到主题中--不仅仅是更改后的数据)。(连续读取文件
中
附加的数据或删除
kafka
主题中的重复) 谢谢
浏览 8
提问于2022-01-02
得票数 0
1
回答
卡夫卡连接对阿克卡流卡夫卡
、
、
、
我即将为我的组织实现一个基于
Kafka
和Spark的流媒体基础设施。然而,当涉及到摄入卡夫卡的数据时,我对如何选择最好的方法感到困惑。 为了做出选择,我当然可以独自尝试每一件事
浏览 3
提问于2017-08-03
得票数 3
1
回答
卡夫卡连接
中
的
连接器
和任务之间的关系是什么?
、
我们已经在一个项目上使用了一段时间的
Kafka
,目前只使用。我很难理解“任务”在
Kafka
中
的作用,特别是这个
连接器
。我理解“
连接器
”;它们包含一组关于特定
源
/接收器的配置,以及它们连接到的主题。在
源
连接器
的情况下,我们使用JDBC
连接器
通过时间戳和/或主键来获取
源
数据,因此这在本质上似乎是连续的。事实上,我们所有的
源
连接器
似乎
只有
一个任务。什
浏览 3
提问于2021-04-26
得票数 6
回答已采纳
2
回答
卡夫卡-> DataStream -> MongoDB
、
、
、
出于测试目的,我构建在flink流-Connectors.
kafka
示例()之上。我认为应该有一些DataStream.addSink实现的MongoDB,但显然没有。Apache
Kafka<
浏览 3
提问于2016-02-02
得票数 11
回答已采纳
1
回答
Kafka
Mysql CDC到Elastic
、
、
对于mysql到
kafka
的CDC,我可以看到我在mysql中所做的更改,并阅读它创建
源
-
连接器
,但是当我创建另一个
连接器
elasticsearch-sink
连接器
时,source-connectr task.state因此,数据库更改不会进入ES,尽管在es-config.properties文件
中
作为安装程序在那里创建索引。我已经将jar/s放在
kafka
中
,为
源
-
连接器
的库工作(以避免关于类路径问题的
浏览 1
提问于2020-02-19
得票数 0
回答已采纳
1
回答
卡夫卡不完全连接FileStreamSink
一次
、
我正在考虑使用FileStreamSink卡夫卡连接
连接器
进行一些存储工作,但据我所知,在使用这个文件
连接器
时不可能有精确的
一次
语义
(我可以向文件写入一条记录,然后在提交到
Kafka
之前崩溃)。在使用另一种解决方案(例如,s3接收器
连接器
提供EOS )之前,我只想确定我是对的,而FileStreamSink不提供EOS。 有人能确认吗?
浏览 0
提问于2019-09-08
得票数 0
回答已采纳
1
回答
春启动连接阿里巴巴电子地图演绎卡夫卡
、
、
、
我已经尝试将引导属性设置为:获取错误:在身份验证期间终止到节点-1 (/xx.xx:9092)的连接。这可能是由于以下任何原因造成的:(1)身份验证失败是由于代理的凭据无效,代理的年龄超过1.0.0;(2)防火墙阻塞
Kafka
TLS通信量(例如,它可能只允许HTTPS通信);(3)瞬态网络问题。spring.
kafka
.properties.security.protocol=SASL_SSL 引发的抛出: java.lang.Ille
浏览 2
提问于2020-03-02
得票数 1
1
回答
用于
Kafka
流的REST生产者
连接器
、
、
我有一个web服务器接收一些事件作为post请求,我想处理使用
Kafka
流。我可以使用哪个
源
连接器
来实现这一点?
浏览 12
提问于2020-10-20
得票数 0
1
回答
什么是
Kafka
连接运行时?
阅读关于
Kafka
connect的文章,它被定义为执行任务的运行时。 说
Kafka
connect(或任何其他软件)是运行时到底意味着什么?它如何影响它与卡夫卡连接架构的其他部分的关系,如
连接器
、转换器或卡夫卡本身?
浏览 3
提问于2022-07-03
得票数 0
回答已采纳
1
回答
Kafka
连接器
Sink任务
中
的Put() vs Flush()
、
我试图使用
Kafka
Sink
连接器
将批处理的数据发送到NOSQL数据库。我正在跟踪文档,并对在何处实现发送记录的逻辑感到困惑。请帮助我理解如何在内部处理这些记录,以及在批处理
中
必须使用什么Put()或Flush()来处理记录。
浏览 5
提问于2017-07-02
得票数 8
回答已采纳
1
回答
从mysql到mongo数据库的数据调度问题
、
、
、
、
我们正在开发一个SAAS系统,在这个系统
中
,我们最初使用MySQL作为DB,但随着数据的增长,我们的数据列表变慢了,所以为了解决这个问题,我们已经使用了Mongo DB,我们已经在其中存储了准备好的JSON,我们需要显示一段时间(与MySQL的所有连接),它工作得很好 我们用java编写了一个调度程序,它每2分钟运行
一次
,并将修改后的记录从MySQL更新到mongo。最初,它工作得很好,但随着时间的推移,数据和它的速率增加,它失败了很多次,所以我们决定寻找任何可以从MySQL binlog读取的替代方案,我们可以在途中根据需要合并MySQL表,并将其存储在M
浏览 14
提问于2020-02-04
得票数 0
1
回答
Apache能否在表-API/SQL中使用内置
连接器
实现端到端-准确地
一次
?
、
我想知道,Apache (v1.11)是否可以通过使用Table/SQL end-to-end-exactly-once 实现内置
连接器
(
Kafka
,JDBC,) 我在文档里找不到任何关于这个的东西。
只有
我可以在EXACTLY_ONCE模式下启用检查点。
浏览 2
提问于2020-12-02
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
干货:Flink+Kafka 0.11端到端精确一次处理语义实现
Kafka 3.0.0新功能get
Spark Streaming与Kafka 整合的改进
官宣:Apache Flink 1.14.0 发布
如何将外部数据源与Spark集成?
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
云直播
活动推荐
运营活动
广告
关闭
领券