腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(2510)
视频
沙龙
1
回答
Elasticsearch
接收器只获取新消息,而不是使用
kafka
-connect-
elasticsearch
+
时间
戳
SMT获取上一条消息。
elasticsearch
、
apache-kafka
、
apache-kafka-connect
我正在使用
kafka
-connect
Elasticsearch
插件从我的
kafka
获得消息到
Elasticsearch
。我在
kafka
中的数据包含一个日期字段(
时间
戳
格式)。我的第一个问题是当我使用这个插件时,
Elasticsearch
索引没有将日期字段识别为日期类型,而是识别为一个长的.我在
连接器
配置中使用SMT转换来解决这个问题。下面是我当前的配置,它允许我在弹性中推送数据: "name": &qu
浏览 0
提问于2018-12-25
得票数 3
回答已采纳
2
回答
Kafka
Connect的
Elasticsearch
连接器
-偏移量和
时间
戳
elasticsearch
、
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我正在使用
elasticsearch
连接器
(confluent)来连接
kafka
。我从主题中获取消息到
elasticsearch
索引中。如果没有使用键,我可以看到偏移量是_id的一部分。我想根据偏移量和
时间
戳
在弹性搜索中浏览消息。{ "_index": "test-
elasticsearch
-si
浏览 0
提问于2016-11-18
得票数 0
1
回答
Kafka
Elasticsearch
连接器
时间
戳
elasticsearch
、
apache-kafka-connect
、
confluent-platform
我可以看到这已经被讨论了几次here for instance,但我认为由于
Elasticsearch
中的破坏性变化,解决方案已经过时了。我正在尝试将我的
Kafka
主题中Json中的长/纪元字段转换为通过
连接器
推送的
Elasticsearch
日期类型。"mapping": { } } }} 现在,我将重点放在如何通过将字段更改为
浏览 15
提问于2019-09-24
得票数 4
回答已采纳
1
回答
为什么卡夫卡连接作品?
apache-kafka
、
apache-kafka-connect
从我的阅读和观察来看,我理解
Kafka
Connect允许您使用Source
连接器
将数据发送到
Kafka
,使用Sink
连接器
从
Kafka
读取数据。最重要的是,
Kafka
从某种程度上抽象出了所有特定于平台的东西,而你所关心的就是有合适的
连接器
。例如,您可以使用PostgreSQL源
连接器
向
Kafka
写入,然后使用
Elasticsearch
和Neo4J Sink
连接器
并行读取卡夫卡的数据。 我的问题是:
浏览 2
提问于2021-02-05
得票数 0
1
回答
用
kafka
连接检索
Elasticsearch
中的
Kafka
主题
elasticsearch
、
apache-kafka
、
apache-kafka-connect
我想将一个主题从avro的
kafka
索引到
elasticsearch
格式,但是我的
时间
戳
字段有问题要被
elasticsearch
识别为日期格式字段。 "type.name":"type.name=
kaf
浏览 0
提问于2018-11-15
得票数 2
回答已采纳
1
回答
kafka
连接
elasticsearch
连接器
(接收器)数据移动(几乎)实时
elasticsearch
、
apache-kafka-connect
有兴趣将数据从
kafka
转移到
elasticsearch
。所以我设置了。尽管我查看了所有文档和,但我仍然找到了如何配置
连接器
,以便将数据从
kafka
移动到
elasticsearch
(接近于实时)。也就是说,让
连接器
每秒使用来自(
kafka
)主题的消息,并将它们写入
elasticsearch
,模拟从
kafka
流到
elasticsearch
的消息流。这是
连接器
的当前配置: "na
浏览 1
提问于2020-02-18
得票数 0
2
回答
Debezium如何设置
Kafka
消息
时间
戳
apache-kafka
、
debezium
我没有找到任何关于Debezium如何设置
Kafka
消息
时间
戳
的文档-以及是否设置了它。从值的比较来看,
Kafka
消息
时间
戳
始终落后于数据库表(source.ts_ms)更改的
时间
戳
,也落后于Debezium (ts_ms)处理更改的
时间
。这表明
Kafka
消息
时间
戳
只是由
Kafka
代理设置为摄取
时间
的
时间
戳
。
浏览 42
提问于2021-04-20
得票数 0
1
回答
流
elasticsearch
数据到
kafka
elasticsearch-plugin
、
confluent-kafka-python
我需要把数据从
Elasticsearch
流到
Kafka
。我正在研究
Elasticsearch
和
Kafka
(Python实现)之间的任何一个
连接器
,它们可以自动识别CDC并将数据流到
kafka
,或者我可以实现自己的CDC方法,但我可以寻找一种通往ES -
kafka
连接器
的健壮方法。我正在通过卡夫卡和ES之间的
Elasticsearch
接收器
连接器
,但并不能证明它是否是双向的(
Kafka
<-
浏览 3
提问于2022-08-01
得票数 3
1
回答
如何使用
Kafka
Elasticsearch
连接器
写入多个不同的弹性搜索集群
elasticsearch
、
apache-kafka
、
apache-kafka-connect
是否可以使用单独的
Kafka
实例与
Elasticsearch
连接器
一起写入使用相同索引?的
Elasticsearch
集群。源数据可以是后端数据库或应用程序。如果这是可能的,我如何配置接收器
连接器
?如果没有,我可以想出几个选择: 还有其他的吗?
浏览 3
提问于2020-11-17
得票数 0
回答已采纳
1
回答
Flink
Kafka
连接器
0.10.0事件
时间
澄清和ProcessFunction澄清
apache-flink
、
flink-streaming
我在为flink的卡夫卡消费者
连接器
的事件
时间
问题而挣扎。引用 我怎么知道它的
时间
戳
是发生的
时间
,还是写给卡夫卡经纪人的
时间
?主流程图不包含窗口函数,基本上如下所示: source(<
浏览 5
提问于2017-08-31
得票数 2
2
回答
sqlite3的
Kafka
JDBC源
连接器
时间
戳
模式失败
sqlite
、
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我的表中有一次有一个
时间
戳
列。我正在尝试实现
时间
戳
模式来捕获数据库中的增量更改。
Kafka
连接失败,错误如下:CURRENT_TIMESTAMP
浏览 1
提问于2019-02-04
得票数 1
2
回答
集成apache flink、
elasticsearch
和
kafka
的版本
elasticsearch
、
apache-kafka
、
apache-flink
我对Flink,
Kafka
和Elastic Search的不同版本有问题。我使用的是Flink 1.8.1版本,但我不知道该使用哪个版本的
Kafka
。另一方面,我想使用版本6进行弹性搜索。你认为哪些版本适合Flink,
Kafka
和Elastic Search?下面的链接是
Kafka
的一个版本,但在评论部分,它是作为测试版enter link description here介绍的
浏览 9
提问于2019-12-24
得票数 2
2
回答
重新设置JDBC
连接器
,从一开始就开始拉行?
sql-server
、
apache-kafka
、
apache-kafka-connect
Kafka
连接器
可以使用主键和
时间
戳
来确定需要处理哪些行。 我正在寻找一种方法重置
连接器
,以便它将处理从开始的
时间
。
浏览 3
提问于2017-03-24
得票数 7
回答已采纳
1
回答
有没有可能在
Kafka
Connect Sink和KCQL中使用像dateof(now())这样的数据库函数?
apache-kafka-connect
我正在尝试从一个
kafka
主题做一个简单的Sink,比如INSERT INTO table SELECT * FROM topic,但也添加了一个值为dateof(now())的列insert_timestamp在KCQL中为接收器
连接器
使用像这样的数据库函数是可能的吗?或者我可能需要编写一个自定义的接收器
连接器
来支持这一点?我会在列上使用默认值,但Cassandra似乎不支持。
浏览 1
提问于2018-03-08
得票数 0
1
回答
Kafka
Mysql CDC到Elastic
elasticsearch
、
apache-kafka
、
apache-kafka-connect
对于mysql到
kafka
的CDC,我可以看到我在mysql中所做的更改,并阅读它创建源-
连接器
,但是当我创建另一个
连接器
elasticsearch
-sink
连接器
时,source-connectr task.state我已经将jar/s放在
kafka
中,为源-
连接器
的库工作(以避免关于类路径问题的进一步问题)。:
连接器
的错误插件类加载程序:找不到'io.confluent.connect.
elasticsearch</
浏览 1
提问于2020-02-19
得票数 0
回答已采纳
2
回答
如何在
kafka
接收器
连接器
中添加带有
kafka
消息
时间
戳
的列
apache-kafka
、
google-bigquery
、
apache-kafka-connect
我正在使用properties/json文件配置
连接器
,在从源
连接器
读取消息时,我尝试添加一个
时间
戳
列,其中包含
kafka
时间
戳
,但没有成功。我尝试过添加transforms,但是它总是null,我的接收器
连接器
“大查询”返回了一个错误 transforms=InsertFieldtransforms.InsertField.timestamp.field
浏览 0
提问于2018-11-15
得票数 1
回答已采纳
2
回答
JDBC汇流
连接器
模式
jdbc
、
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我正在使用JDBC
kafka
源
连接器
中的自定义查询,任何人都可以告诉我在JDBC
kafka
源
连接器
中使用自定义查询时的模式是什么,如果我使用批量模式,那么它将重新插入
kafka
主题中的所有数据。注意:-表中没有主键或
时间
戳
列。
浏览 0
提问于2019-05-29
得票数 1
回答已采纳
1
回答
把数据从
elasticsearch
发送到
kafka
,最后再发送到进水数据库?
elasticsearch
、
apache-kafka
、
apache-kafka-connect
我想知道如何将数据从
elasticsearch
发送到
kafka
,然后再发送到influxdb?我已经尝试过使用来自
elasticsearch
的源
连接器
和从influxdb的接收器
连接器
的汇合平台,但问题是我不得不将数据从
elasticsearch
发送到
kafka
如何将数据从
elasticsearch
发送到
kafka
?使用汇流平台? 如果我想使用卡夫卡连接
浏览 3
提问于2022-09-15
得票数 0
回答已采纳
1
回答
纳秒引起弹性搜索中的date_time_parse_exception
elasticsearch
、
apache-kafka-connect
、
confluent-platform
我们正在使用与
kafka
主题连接的弹性搜索服务
连接器
。 在一些卡夫卡主题消息中,字段time以'1646302527.329244000'形式包含以纳秒为单位的unix
时间
。
ElasticSearch
服务Sink
连接器
将消息传递给
ElasticSearch
,但显然会将表示形式从'1646302527.329244000'更改为'1.646302527329244E9'。(org.apache.
kafka
.con
浏览 10
提问于2022-03-03
得票数 0
1
回答
可以指定
时间
戳
模式的
Kafka
JDBC
连接器
查询吗?
sql
、
apache-kafka
、
apache-kafka-connect
我想根据
时间
戳
从表中获取数据(增量主键不可用)。
Kafka
JDBC
连接器
通过使用查询来获取所有行,其
时间
戳
大于前一次迭代中的最大
时间
戳
,这可以从
Kafka
JDBC
连接器
的以下代码中看到。coalesceTimestampColumns(builder); } 然而,通过这种方式,您可能会遗漏一些行,因为您可能有一些具有相同
时间
浏览 8
提问于2021-04-16
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
这可能是北半球最暖的Kafka Connect数据管道教程:3
这可能是北半球最暖的Kafka Connect数据管道教程:2
基于Kafka技术栈构建和部署实时搜索引擎的实践
Flink 支持哪些数据源和数据接收器?
如何将外部数据源与Spark集成?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券