如何使用SSL连接Kafka的Elasticsearch？

文章/答案/技术大牛

发布

1回答

检索并将TLS CRT kubernetes秘密写入Helm模板中的另一个荚

kubernetes、kubernetes-helm、apache-kafka-connect、kubernetes-secrets

我有一个Kubernetes集群，当前部署了Elasticsearch。这方面的一个例子是包含接收器的kafka部署。接收器连接器

浏览 4提问于2021-10-22得票数 1

回答已采纳

1回答

如何在卡夫卡连接器中正确连接弹性操作符部署的弹性搜索？

elasticsearch、kubernetes、apache-kafka、apache-kafka-connect

以下是我迄今所做的工作：我使用Elasticsearch在Kubernetes中部署了Elasticsearch，方法是遵循本教程另外，基于，我编写了我的配置，然后尝试通过 curl --location --request PUT 'http://hm-connect-cluster-connect-api.kafka:8083，其中包含配置字段的</em

浏览 13提问于2021-12-07得票数 1

回答已采纳

1回答

自托管Kafka* Connect Elasticsearch *SSL错误

elasticsearch、apache-kafka、apache-kafka-connect

注意:我的环境被篡改了。我的elasticsearch集群使用自签名SSL证书进行保护。当配置Kafka连接以使用我的SSL安全elasticsearch集群时，我遇到了问题。连接配置： "name

浏览 14提问于2022-07-27得票数 0

1回答

elasticsearch、apache-kafka-connect、confluent-platform

#security之后，我不确定我需要哪个配置才能将Kafka连接到https的Elasticsearch端点。我可以Kafka连接到不同的非https Elasticsearch，在常规客户端上，我可以通过关闭SSL验证连接到https。这个来自不同服务提供商https://help.aiven.io/en/articles/2349675-aiven-ka

浏览 19提问于2019-10-15得票数 1

回答已采纳

1回答

kafka连接elasticsearch连接器(接收器)数据移动(几乎)实时

elasticsearch、apache-kafka-connect

有兴趣将数据从kafka转移到elasticsearch。所以我设置了。尽管我查看了所有文档和，但我仍然找到了如何配置连接器，以便将数据从kafka移动到elasticsearch (接近于实时)。也就是说，让连接器每秒使用来自( kafka )主题的消息，并将它们写入elasticsearch，模拟从kafka流到elasticsearch的消

浏览 1提问于2020-02-18得票数 0

1回答

Kafka-connect，Bootstrap broker已断开连接

apache-kafka、apache-kafka-connect、confluent-platform

我正在尝试设置Kafka Connect，目的是运行ElasticsearchSinkConnector。 Kafka设置，由3个代理组成，使用Kerberos、SSL和ACL进行安全保护。到目前为止，我已经尝试在本地使用docker/docker-compose (Confluent docker-image 5.4 with Kafka 2.4)连接到远程kafka-installation当我尝试使用curl启动一个<

浏览 0提问于2020-04-06得票数 8

回答已采纳

1回答

把数据从elasticsearch发送到kafka，最后再发送到进水数据库？

elasticsearch、apache-kafka、apache-kafka-connect

我想知道如何将数据从elasticsearch发送到kafka，然后再发送到influxdb？我已经尝试过使用来自elasticsearch的源连接器和从influxdb的接收器连接器的汇合平台，但问题是我不得不将数据从elasticsearch发送到kafka<e

浏览 3提问于2022-09-15得票数 0

回答已采纳

2回答

如何连接Kafka和Elasticsearch？

elasticsearch、apache-kafka、kafka-consumer-api、apache-kafka-connect

我是Kafka的新手，我使用kafka通过logstash收集netflow (没问题)，我想把数据从kafka发送到elasticsearch，但有一些问题。我的问题是如何将Kafka与Elasticsearch连接起来？= nullssl.protocol = TLS ssl.provider

浏览 1提问于2018-02-01得票数 11

回答已采纳

1回答

卡夫卡连接topic.key.ignore不像预期的那样工作

apache-kafka、apache-kafka-connect

正如我从kafka的文档中了解到的，这个配置应该忽略节拍和文件节拍主题的键，而不是警报键。但是卡夫卡的连接并没有忽略任何关键。所以，这就是我推动到kafka的完全json配置--连接而不是rest。errors.deadletterqueue.context.headers.enable":true , "errors.deadletterqueue.topic.replication.factor":

浏览 0提问于2020-05-01得票数 1

1回答

Kafka Logstash Avro集成失败

apache-kafka、logstash、avro

我试图使用Logstash中的Avro反序列化器使用Kafka中的一个主题，并获得以下错误。这是我的Logstash文件输入 kafka { bootstrap_servers => "kafka1:9911,kafka2:9911,kafka3=> "/apps/opt/application/

浏览 4提问于2019-07-27得票数 0

1回答

我能在Logstash和Elasticsearch之间使用Kafka吗？(使用两个卡夫卡)

elasticsearch、apache-kafka、elastic-stack

我正在尝试将Apache Kafka与弹性堆栈(Beats、Logstash、Elasticsearch和Kibana)集成在一起。从图上看，卡夫卡位于Beats和Logstash之间。我想知道是否可以在Logstash和Elasticsearch.之间再放一个卡夫卡(在那里我用一支红笔画)。有什么想法和想法可以分享吗？

浏览 1提问于2019-05-13得票数 0

回答已采纳

1回答

卡夫卡-连接汇中的ExtractField和解析JSON

elasticsearch、apache-kafka、apache-kafka-connect、confluent-platform

我有一个mongodb->kafka >elasticsearch将数据端发送到端OK的kafka-connect流，但是有效负载文档是JSON编码的。这是我的原始mongodb文档。" : true, \"tags\" : [\"shirt\", \"summer\"], \"style\" : { \"color\" : \"blue\&qu

浏览 3提问于2018-11-06得票数 1

1回答

对于Kafka接收器连接器，我用弹性文件向多个索引文档发送一条消息？

elasticsearch、apache-kafka、apache-kafka-connect

我在一个主题消息中接收到一个非常复杂的json，所以我想使用它进行一些计算，并发送给不同的elasticsearch indice文档。有可能吗？我无法找到解决这个问题的办法。

浏览 6提问于2022-11-11得票数 0

1回答

如何解决"schema.registry.url“中的问题，同时将弹性搜索与卡夫卡连接起来？

elasticsearch、apache-kafka、apache-kafka-connect、confluent-schema-registry

我试图连接卡夫卡连接弹性搜索水槽。我不是在合流中使用，而是以独立模式使用。这是我的elasticsearch连接器配置。elastic.security.protocol=SSLvalue.converter.schemas.enable=false我的连接标准属性是key.co

浏览 2提问于2020-01-21得票数 3

回答已采纳

1回答

未能找到卡夫卡-火花集成的Set([topic,0])的领导者

apache-spark、ssl、apache-kafka、spark-streaming

我试图使用SSL进行卡夫卡-火花集成。我已经在启用SSL的情况下测试了Kafka，它在示例消费者和生产者中运行得非常好。另外，我还尝试了Spark 的集成，当在火花作业中没有SSL时，它也可以正常工作。 sparkCon

浏览 0提问于2017-05-24得票数 0

回答已采纳

1回答

部署ElasticsearchSinkConnector后，任务为空

elasticsearch、apache-kafka、apache-kafka-connect

我试图通过以下方式部署ElasticsearchSinkConnector{ "config": {

浏览 1提问于2022-03-17得票数 0

回答已采纳

1回答

使用Kafka连接将消息路由到不同的ElasticSearchIndex

elasticsearch、apache-kafka、apache-kafka-connect

我的要求是将这些消息从kafka主题发送到基于Kafka中发送的elasticSearch报头字段的不同eventType索引。index = "xyz123” 我计划使用kafka connect进行此操作。我需要帮助如何使用kafka-connect实现这一点？我正在使用kafka 1.1.0，并计划使用confluentinc-<

浏览 0提问于2020-03-05得票数 0

1回答

Elasticsearch接收器只获取新消息，而不是使用kafka-connect-elasticsearch +时间戳SMT获取上一条消息。

elasticsearch、apache-kafka、apache-kafka-connect

我正在使用kafka -connect Elasticsearch插件从我的kafka获得消息到Elasticsearch。我在kafka中的数据包含一个日期字段(时间戳格式)。我的第一个问题是当我使用这个插件时，Elasticsearch索引没有将日期字段识别为日期类型，而是识别为一个长的.我在连接器配置中使用SMT转换来解决这个问题。下面是我

浏览 0提问于2018-12-25得票数 3

回答已采纳

1回答

缺少没有defau的必需配置"key.converter“

apache-kafka、apache-kafka-connect

当我尝试为弹性搜索反应堆启动Kafka连接时，在独立模式下我会收到以下错误： at org.apache.kafka.common.config.ConfigDef.parse我

浏览 3提问于2018-05-01得票数 2

回答已采纳

1回答

如何使用Kafka* Elasticsearch连接器写入多个不同的弹性搜索集群*

elasticsearch、apache-kafka、apache-kafka-connect

是否可以使用单独的Kafka实例与Elasticsearch连接器一起写入使用相同索引？的Elasticsearch集群。源数据可以是后端数据库或应用程序。如果这是可能的，我如何配置接收器连接器？如果没有，我可以想出几个选择：使用2个Kafka实例，每个实例指向不同的Elasticsearch集群。使用一

浏览 3提问于2020-11-17得票数 0

回答已采纳

点击加载更多

检索并将TLS CRT kubernetes秘密写入Helm模板中的另一个荚

如何在卡夫卡连接器中正确连接弹性操作符部署的弹性搜索？

自托管Kafka* Connect Elasticsearch *SSL错误