Kafka Connect无法通过SSL读取Kafka主题

文章/答案/技术大牛

发布

1回答

ssl、apache-kafka、apache-kafka-connect

CONNECT_SECURITY_PROTOCOL: SSL

浏览 22提问于2019-01-19得票数 1

回答已采纳

1回答

无法在Kafka* 0.10.2 (命令行)中使用SSL配置授权-生产者和使用者不能写入或读取主题*

apache-kafka

我无法在Kafka 0.10.2中使用SSL配置授权。我正在为代理、生产者和使用者使用命令行客户端。当allow.everyone.if.no.acl.found=true在kafka服务器配置文件中被注释掉时，生产者和使用者不能写入或从测试主题中读取(否则，他们能够读写) 我已经浏览了、、和 - ，但是我仍然无法获得授权工作(尽管我通过TLS工作进行了身份验证)。testkafkaconsumer1.eigenroute.com' ciph

浏览 8提问于2017-05-21得票数 2

回答已采纳

1回答

StructuredStreaming -基于卡夫卡主题中新事件的数据处理

python、pyspark、apache-kafka、google-bigquery、spark-structured-streaming

我有一个结构化的流媒体程序，它从Kafka主题A中读取数据，并进行一些处理，最后将数据放入目标Kafka主题。Kafka主题(events_topic)，如果在上次读取之后有一个新记录，它会执行一些额外的处理--从BigQuery表重新加载数据，并将其保存。.option("kafka.ssl.truststore.location", ssl_truststore_locati

浏览 1提问于2022-03-12得票数 0

回答已采纳

1回答

在Apache spark和Kafka broker之间启用SSL

apache-spark、ssl、apache-kafka、spark-streaming

我试图在我的ApacheSpark1.4.1和Kafka0.9.0.0之间启用SSL，我使用spark-streaming-kafka_2.10 Jar连接到Kafka，我使用KafkaUtils.createDirectStream方法从Kafka主题读取数据。最初，我得到了OOM问题，并通过增加驱动程序内存来解决这个问题。在我看到下面这个问题之后，我做了一些阅读，发现spark-streaming-kafka_2.10使用了<em

浏览 4提问于2016-10-25得票数 1

回答已采纳

2回答

如何指定连接器是源还是接收器？

apache-kafka、apache-kafka-connect

CONNECT_SASL_MECHANISM="PLAIN" \ -e CONNECT_SSL_TRUSTSTORE_PASSWORD="..." \ -e C

浏览 14提问于2022-05-24得票数 0

回答已采纳

1回答

自托管Kafka* Connect Elasticsearch SSL错误*

elasticsearch、apache-kafka、apache-kafka-connect

当配置Kafka连接以使用我的SSL安全elasticsearch集群时，我遇到了问题。value.converter.schemas.enable": "false"}org.apache.kafka.connect.errors.ConnectException: javax.net.ssl.

浏览 14提问于2022-07-27得票数 0

1回答

Databricks <-> Kafka握手失败

ssl、apache-kafka、databricks

下面是试图读取流时所收到的错误。读取流时，Databricks无法找到keystore文件。') \ .option("kafka.ssl.truststore.password", truststore_pass) \ .option("kafka.ssl.

浏览 7提问于2022-11-08得票数 1

1回答

Confluent Cloud -> BigQuery -如何诊断“坏记录”原因

apache-kafka、google-bigquery、apache-kafka-connect、confluent-platform、confluent-cloud

我可以将数据从MSSql服务器推送到Confluent Cloud上的主题，但不能从主题推送到BigQuery，它会抛出错误"Bad records in the last hour - 65“ 我可以将主题连接到

浏览 8提问于2019-12-12得票数 0

回答已采纳

2回答

卡夫卡-连接FileStreamSourceConnector不会产生一个主题

apache-kafka、apache-kafka-connect

我试图创建一个卡夫卡连接连接器，从一个AVRO主题到一个文件。水槽工作正常，我可以看到接收器文件正在增长，并读取数据。但是当我试图恢复到一个新的主题时，新的主题仍然没有数据。我没有错误，我已经重置了偏移量，我创建了一个新的Kafka连接并尝试恢复，我创建了一个完整的新Kafka集群，并且始终是相同的，源连接器上没有错误，但是主题是空的。",

浏览 1提问于2019-02-08得票数 1

1回答

删除并重新创建任何连接器后，所有连接器都将进入故障状态

apache-kafka、apache-kafka-connect、debezium

我有启用SSL的Kafka设置，并使用POST请求在kafka-connect上注册消息(如下所示)。如果连接设置是没有现有连接器的新设置，它会正确注册连接器。如果我停止kafka-connect并从kafka中删除所有与kafka-connect相关的元数据主题，然后重新启动它。问题仍然存在，但我再次注册了所有的连接器。问题是kafka-connect元数据主题

浏览 19提问于2019-08-31得票数 0

1回答

应用服务器日志进程

apache-spark、apache-kafka、hadoop2、flume、hadoop-streaming

我最初的计划是使用kafka从应用服务器日志中获取这些数据-->使用kafka推送到Spark Streaming并处理这些数据-->将这些数据存储到HIVE -->使用zeppelin来获取那些经过处理和集中的日志数据但是据我所知，Kafka没有任何功能可以读取日志文件中的数据，并将它们发布在Kafka broker中，在这种情况下，我们已经编写了一个调度程序作业进程，它将读取日志时间并将它们发送到Kafka broker谁能建议我在这种情况下哪种方

浏览 31提问于2017-07-24得票数 0

1回答

使用Kafka-Connect通过SSL连接到MSK时出现问题

apache-kafka、apache-kafka-connect、aws-msk

我在Confluent Kafka-Connect镜像中使用AWS MSK TLS端点时遇到了问题，因为它在创建/读取主题时超时。当我通过PlainText端点时，它完全可以正常工作。**Error:** org.apache.kafka.connect.errors.ConnectException: Timed out while checking for or creating附加我正在使用的任何帮助的kafka-connect

浏览 1提问于2020-03-13得票数 1

2回答

如何在消费者MQ Topic中消费Kafka* Topic*

apache-kafka、ibm-mq、cds

我有一个需求，我需要消费Kafka Topic并将其写入MQ Topic。有人能建议我做它的最好的方法，我是新手卡夫卡。

浏览 55提问于2019-05-28得票数 0

回答已采纳

0回答

使用Kafka* Streams进行自定义转换*

java、apache-kafka、etl、apache-kafka-streams、stream-processing

我一直在使用Apache Kafka实现ETL数据管道。我已经使用Kafka Connect进行提取和加载。 Connect将读取源数据，并以JSON的形式写入Kafka topic的实际数据。在转换阶段，我想从Kafka主题读取JSON数据，然后需要转换为基于一些自定义业务逻辑的SQL查询，然后需要写入输出Kafka主题。到目前为止，我已经编写了一个生产者-消费者应用程序，它从主题</em

浏览 3提问于2017-12-15得票数 2

回答已采纳

1回答

使用增量表从kafka读取星火流

pyspark、apache-kafka、databricks、delta-live-tables

我正在尝试使用星火流/python从Kafka主题读取流，我可以读取该消息并将其转储到带有默认kafka消息模式的青铜表中，但我无法将键和值从二进制转换为字符串，我尝试了以下方法，但它们都没有工作： .option("kafka.ss

浏览 11提问于2022-08-29得票数 1

回答已采纳

2回答

卡夫卡星火结构化流的SASL_SSL认证

scala、apache-spark、apache-kafka、spark-structured-streaming、spark-kafka-integration

我一直试图使用与SASL_SSL连接到Kafka集群。我已将jaas.conf文件传递给执行者。我似乎无法设置密钥库和信任库身份验证的值。我试着传递thisspark 中提到的值还是没有运气。", "SASL_SSL") .option("ssl.truststore.location", "/etc/connect_ts/tru

浏览 0提问于2020-02-28得票数 3

回答已采纳

2回答

pubSubSource:重复使用相同的消息两次

apache-kafka、apache-kafka-connect、google-cloud-pubsub、confluent-platform

描述 I有一个卡夫卡连接分布式模式的pubSubSource连接器，它只是简单地从PubSub订阅中读取并写入一个Kafka主题。问题是，即使我要向GCP PubSub发布一条消息，我也要在我的Kafka主题中写两次这个消息。。"：{ "org.apache.kafka.connect.json.JsonConverter"，"key.converter"：“org.apache.kafka.c

浏览 1提问于2021-02-24得票数 1

回答已采纳

1回答

Kafka SSL :在执行主题命令时创建主题错误: KeeperErrorCode = NoAuth for /config//ssl- Topic

java、ssl、apache-kafka

我已经为动物园管理员和卡夫卡客户设置了SSL。动物园管理员服务器和Kafka代理成功启动。虽然我创造了卡夫卡的主题，但它却给出了错误。kafka-topics.bat -zookeeper localhost:2181 -创建-主题ssl-主题-分区1-复制-因子1执行主题命令时出现的错误: org.apache.zookeeper.KeeperException.create-主题在org.apache.zookeeper

浏览 14提问于2022-02-06得票数 0

1回答

卡夫卡连接AWS S3接收器连接器不从主题读取

apache-kafka、apache-kafka-connect、confluent-platform

但是，当我将它连接到AWS上的Kafka broker (使用SSL)时，它不会消耗任何东西。没有错误什么都没有。30 10:50:03,598] INFO WorkerSinkTask{id=xxx} Sink task finished initialization and start (org.apache.kafka.connect.runtime.WorkerSinkTaskXXX (id: -3 rack: null) using address XXX (org.apache.kafka.c

浏览 4提问于2020-01-30得票数 1

回答已采纳

2回答

kafka-python生产者- SSL连接失败-仅Trustore

python、ssl、apache-kafka、kafka-python、apache-kafka-security

我正在尝试通过python将消息发布到kafka主题，但收到一个错误。我可以通过CLI进行连接和发布。希望能得到一些指导。我已经在谷歌上搜索并阅读了文档。谢谢！！/Kafka/kafka-truststore s

浏览 157提问于2019-06-08得票数 1

点击加载更多