Kafka-Elasticsearch接收器连接器不工作

Kafka-Elasticsearch接收器连接器是一种用于将Kafka消息流式传输到Elasticsearch的工具。它可以实现实时的数据同步和索引，使得数据可以在Elasticsearch中进行高效的搜索和分析。

该连接器的工作原理是通过订阅Kafka主题并将消息写入Elasticsearch索引。它可以确保数据的可靠传输和一致性，并支持灵活的配置选项，以满足不同场景下的需求。

优势：

实时性：Kafka-Elasticsearch接收器连接器能够实时地将Kafka消息传输到Elasticsearch，保证数据的及时性和准确性。
可靠性：连接器提供了可靠的消息传输机制，确保数据不会丢失或重复。
灵活性：连接器支持灵活的配置选项，可以根据需求进行定制化设置，满足不同场景下的需求。
高性能：连接器能够高效地处理大量的数据，保证数据的快速传输和索引。

应用场景：

实时日志分析：通过将Kafka中的日志数据传输到Elasticsearch，可以实现实时的日志分析和搜索功能。
监控和告警系统：将监控数据传输到Elasticsearch，可以实时地对数据进行分析和告警处理。
数据仓库和分析：将数据从Kafka传输到Elasticsearch，可以构建实时的数据仓库和分析系统，支持复杂的查询和分析操作。

腾讯云相关产品：腾讯云提供了一系列与云计算和大数据相关的产品，以下是一些推荐的产品和链接地址：

云消息队列 CMQ：https://cloud.tencent.com/product/cmq
云数据库 CDB：https://cloud.tencent.com/product/cdb
云服务器 CVM：https://cloud.tencent.com/product/cvm
云原生容器服务 TKE：https://cloud.tencent.com/product/tke
云数据库 TDSQL-C：https://cloud.tencent.com/product/tdsqlc

请注意，以上链接仅供参考，具体产品选择应根据实际需求进行评估和决策。

Kafka-Elasticsearch接收器连接器不工作

elasticsearch、apache-kafka、apache-kafka-connect

我检查了我的Kafka代理是否正常工作，因为我可以看到我生成的主题消息是由Kafka消费者读取的。然而，当我尝试将Kafka连接到Elasticsearch时，我得到了以下错误。

浏览 54提问于2021-05-28得票数 0

回答已采纳

1回答

汇水槽连接器-有多少是太多

apache-kafka、apache-kafka-connect、confluent-platform

我想使用汇流接收器连接器更新远程服务器上的Postgres数据库。平均每天我们可能有1000到2000条消息(更新)。创建数百个接收器连接器以将这些消息复制到所有远程服务器是否“合法”？有这么多接收器连接器是正常的吗？是否有可能告诉接收器连接器“传播”他们的工作，这样不是所有的100个连接器都会同时将更改推送到远程服务器上吗？

浏览 1提问于2021-01-18得票数 0

回答已采纳

1回答

因此，我正在阅读有关连接器1的文档，并试图找出流和接收器连接器2之间的关系。源连接器3有一个名为"table.whitelist“的属性，据我所知，该属性告诉Debezium只将这些表复制到ksqldb。但是，单独的流和接收器连接器之间的关系呢？没有像"stream.whitelist“这样的属性。这是否真的意味着所有的流都会被发送到所有的连接器？例如，我只想从流str1向连接器con1发送数据，只向con2发送流str2。这有可能

浏览 3提问于2022-08-07得票数 0

1回答

kafka-用于具有自动增量的表的连接接收器连接器pk.mode

apache-kafka-connect

我正在为一个数据库表开发kafka-connect JDBC接收器连接器。我在将pk.mode配置为支持自动递增的合适的auto时遇到了问题。我想知道接收器连接器是否支持pk.mode为“自动递增”？

浏览 13提问于2021-06-04得票数 0

回答已采纳

1回答

kafka-连接JDBC PostgreSQL Sink连接器显式定义PostgrSQL模式(命名空间)

postgresql、jdbc、apache-kafka-connect

我使用JDBC接收器连接器将数据写入postgresql。这是postgresql的常见JDBC格式。jdbc:postgresql://<host>:<port5432>/<database> 是否可以显式地定义架构名称，我需要postgresql接收器连接器来编写这个名称？

浏览 0提问于2021-03-31得票数 2

回答已采纳

2回答

如何根据kafka主题名称或消息键/值，使用mongodb接收器连接器对不同dbs和集合中的kafka主题进行分组

mongodb、apache-kafka、apache-kafka-connect、debezium、mongodb-kafka-connector

正如标题所述，我使用debezium Postgres源连接器，并且我希望MongoDB接收器连接器根据不同的集合和数据库(也不同的dbs来分离无关数据)中的名称对kafka主题进行分组。在询问时，我在上看到了连接器属性。不幸的是，这只为每个kafka主题创建了一个集合，该集合成功地与指定的regex匹配，我计划使用相同的mongodb服务器来存储从多个debezium源连接器中捕获的许多dbs。你能帮帮我吗?注意:我读过这个Mongo接收器设置FieldPathNamespaceMap

浏览 14提问于2022-09-24得票数 0

1回答

Kafka连接器Sink任务中的Put() vs Flush()

apache-kafka、apache-kafka-connect

我试图使用Kafka Sink连接器将批处理的数据发送到NOSQL数据库。我正在跟踪文档，并对在何处实现发送记录的逻辑感到困惑。

浏览 5提问于2017-07-02得票数 8

回答已采纳

2回答

从汇流源和Sink连接器打印数据

docker、apache-kafka、confluent-platform

我有源和汇连接器安装使用汇流，他们工作良好。

浏览 1提问于2018-09-19得票数 1

回答已采纳

1回答

Kafka连接器-分布式负载平衡任务

apache-kafka、apache-kafka-connect

连接器的属性文件之间的唯一区别是rest端口，因为它们运行在同一台计算机上。我不为连接器设置、配置、状态创建主题。我应该吗？我有接收器连接器的自定义代码。当我为我的接收器连接器创建工作者时，我执行POST请求来完成这个任务。指向任何正在运行的连接器。检查是否有加载的工作人员在URL处完成 GET http://

浏览 0提问于2019-09-10得票数 1

回答已采纳

1回答

卡夫卡连接中的连接器和任务之间的关系是什么？

apache-kafka、apache-kafka-connect

我很难理解“任务”在Kafka中的作用，特别是这个连接器。我理解“连接器”；它们包含一组关于特定源/接收器的配置，以及它们连接到的主题。我理解连接器和任务之间存在着1:Many关系，以及任务用于并行化工作的一般原则。但是，我们如何理解连接器何时会/可能创建多个任务？在源连接器的情况下，我们使用JDBC连接器通过时间戳和/或主键来获取源数据，因此这在本质上似乎是连续的。事实上，我们所有的源连接器似乎只有一个

浏览 3提问于2021-04-26得票数 6

回答已采纳

1回答

从Azure数据工厂将文件作为八位流上载

azure、azure-data-factory、azure-data-factory-2

但是，我尝试使用复制数据活动：为了上传文件，可以使用其中一个连接器吗？我应该使用另一个连接器吗？或者我应该使用另一个资源，比如Azure函数，因为我不能使用ADF来完成它？

浏览 0提问于2021-01-20得票数 0

1回答

Kafka JDBC接收器句柄数组数据类型

jdbc、apache-kafka、avro、apache-kafka-connect

但是，可以将Sink连接器与支持数组数据类型的简单Kafka连接器结合使用。如何从Kafka配置中过滤出来，切换成简单的Kafka Connector配置？

浏览 0提问于2021-02-25得票数 2

1回答

Erroe跑突触线

azure-synapse

浏览 4提问于2022-08-29得票数 0

2回答

Confluent Connect :同步运行多个接收器连接器

apache-kafka、apache-kafka-connect、confluent-platform

我们使用连接到Kafka的S3接收器连接器，并将数据加载到S3 buckets.Now --我希望使用Copy命令将数据从S3存储桶加载到are，因为我正在创建自己的自定义connector.Use情况--我希望以同步方式加载通过S3创建的数据到Redshift，下一次S3连接器应该替换现有文件，并再次将数据加载到S3。

浏览 0提问于2018-08-17得票数 0

回答已采纳

1回答

无法将kafka主题中的数据发送到elasticsearch

mongodb、elasticsearch、apache-kafka-connect、data-migration

我正在尝试使用mongo get data from mongoDB to my kafka topic db (作为源)，elasticsearch (作为接收器)和kafka构建一条数据管道。elasticsearchApp", "coll": "subscriber"}, "documentKey": {"_id": {"$oid": "5e88fed793afa61a58411b2a"}}} 问题是当我运行我的ES接收器<

浏览 1提问于2020-04-05得票数 0

1回答

如何使用Kafka接收器连接器对数据库进行部分记录？

apache-kafka、apache-kafka-connect

2 (emp id :321 , designation:efg , accountno:null) 是否可以使用接收器连接器将其复制到具有正确更新的数据库中？

浏览 10提问于2022-09-01得票数 1

1回答

PyFlink -如何使用PyFlink推送数据到mongodb和redis？

python、mongodb、redis、apache-flink、pyflink

在文档中，有一些与Kafka，文件系统等的连接器。似乎还没有针对mongodb和redis的解决方案。首先感谢您的帮助！

浏览 90提问于2021-06-01得票数 0

2回答

Kafka连接接收器任务忽略文件偏移存储属性。

apache-kafka、apache-kafka-connect

我在使用汇合JDBC连接器时遇到了非常奇怪的行为。我很确定这与汇流堆栈无关，而是与Kafka-connect框架本身有关。因此，我将offset.storage.file.filename属性定义为默认/tmp/connect.offsets并运行我的接收器连接器。显然，我期望连接器在给定的文件中持久化偏移量(它在文件系统中不存在，但是它应该自动创建，对吗？)文件上说： offset.storage.file.filename用于存储连接器偏移量的文件。

浏览 3提问于2017-02-06得票数 13

2回答