在SchemaRegistryClient Confluent Kafka中禁用证书验证

文章/答案/技术大牛

发布

1回答

python、confluent-platform、confluent-schema-registry、confluent-kafka-python

因此，我想从kafka (Confluent)中读取一个主题，其中的数据是Avro格式的。由于某些不可避免的原因，我想禁用证书验证。我正在使用security.protocol= SASL_SSL和sasl.mechanisms= OAUTHBEARER 我可以通过禁用ssl证书验证来连接Kafka 'enable.ssl.certificate.verification': 'fal

浏览 69提问于2021-09-10得票数 0

回答已采纳

1回答

在Kafka连接中使用ProtobufConverter时找不到SchemaRegistryClient

apache-kafka、apache-kafka-connect、debezium

我可以使用debezium和Kafka connect将数据从数据库流式传输到Kafka主题中。但是，如果我尝试使用以下命令输出 value.converter=io.confluent.connect.protobuf.ProtobufConverter value.converter.schema.registry.url=http://my-schema-registry 我得到了 java.lang.NoClassDefFoundError: io/confluent/<em

浏览 63提问于2021-02-12得票数 0

1回答

当使用Avro + schema时，如何从模式定义中获益来序列化/反序列化消息？

apache-kafka、avro、confluent-platform、confluent-schema-registry

这是非常好的，但现在我有多个版本的这个文件在多个项目。我可以想象，保持它们的同步会带来伤害。我找不到任何在两端都这样做的例子，特别是使用模式注册表。

浏览 1提问于2017-06-28得票数 2

回答已采纳

1回答

融在一起的泉云流卡夫卡产生的信息与融合的泉卡夫卡不同

java、apache-kafka、spring-cloud-stream、spring-kafka、confluent-schema-registry

为了演示在这2种情况中的不同之处，我在GitHub上创建了2个示例存储库，只包含在这两种情况下生成简单消息所需的代码。configuration: key.serializer: io.confluent.kafka.serializers.KafkaAvroSerializervalue.serializer: io.confluent

浏览 0提问于2019-05-02得票数 1

回答已采纳

1回答

如何将基本身份验证传递到合流架构注册表？

apache-spark、databricks、spark-structured-streaming、confluent-platform、confluent-schema-registry

我想从一个合流云主题中读取数据，然后在另一个主题中写入数据。 basic.auth.credentials.source=USER_INFOschema.registry.url= import com.databricks.spark.avro.SchemaConverters import io.confluent.<em

浏览 2提问于2019-11-13得票数 6

1回答

Spark:使用Spark Scala读取来自Kafka的Avro消息

scala、apache-spark、avro、spark-structured-streaming、confluent-schema-registry

我正在尝试下面的代码在spark 2.4.3中读取卡夫卡的Avro消息。这是我正在尝试的当前代码，其中至少我能够获得一些结果，但所有记录都是以null值的形式出现的。import io.confluent.kafka</

浏览 11提问于2019-11-27得票数 1

4回答

如何让KafkaProducer使用模拟模式注册表进行测试？

java、apache-kafka、confluent-platform

我在测试用例中使用KafkaProducer，而我的生产者使用schemaRegistryUrl，它指向我的本地Schema Registry实例。也就是说，让我的测试中的KafkaProducer/Consumer在没有Schema Registry的运行实例的情况下工作。

浏览 23提问于2016-09-24得票数 18

2回答

如何为KafkaAvro编写GenericData.Record服务器

java、apache-kafka、avro、kafka-consumer-api、apache-kafka-streams

我使用Kafka 0.10.2和Avro来序列化我的消息，包括键和值数据。现在我想使用Kafka，但是我不得不为GenericData.Record类编写GenericData.Record类。import org.apache.avro.generic.GenericData.Record;import io.confluent.kafk

浏览 8提问于2017-04-27得票数 1

回答已采纳

1回答

使用经过身份验证的合流模式注册表配置Spark结构化流

scala、apache-spark、apache-kafka、confluent-schema-registry、confluent-cloud

我正在使用星火流中的Kafka Source来接收使用Cloud中的Datagen生成的记录。我打算使用合流模式注册表，线程“main”io.confluent.kafka.schemaregistry.client.rest.exceptions.RestClientException:中的异常未经授权；错误代码: 401 basic.auth.credentials.so

浏览 0提问于2021-06-18得票数 2

0回答

如何将Spring Cloud Stream Kafka与Confluent* Schema Registry结合使用？*

spring、stream、registry、cloud、confluent-platform

我正在寻找一个简单可行的示例，它使用Spring Cloud Stream Kafka和Confluent Schema Registry (生产者和消费者)。在之后，我添加了以下代码，但它不起作用。@Bean public SchemaRegistryClient schemaRegistryClient(@Value("${spring.cloud.stream.schemaRegistryClient.endpoint

浏览 3提问于2017-12-04得票数 1

回答已采纳

1回答

Produce调用时配置了AVRO值序列化程序，但在使用IAsyncSerializer序列化程序时需要ISerializer

apache-kafka、avro、confluent-schema-registry、confluent-platform

我正在使用Kafka集群，并使用Transactional Producer进行原子流(读-处理-写)。\r\n at Confluent.Kafka.Producer`2.Produce(TopicPartition topicPartition, Message`2 message, Action

浏览 25提问于2020-06-18得票数 0

回答已采纳

1回答

使用Python中的Kafka* Avro按摩*

python、apache-kafka、schema、avro、confluent-kafka-python

我正在尝试使用Python中的Kafka Avro的消息。我们在Java中使用了它，而且它正在工作，但是当试图在木星笔记本中使用它时，解析就不起作用了。我遵循了文档中给出的示例：(出于安全原因，我删除了conf信息)fromconfluent_kafka.avro import Avro

浏览 18提问于2022-07-21得票数 0

回答已采纳

1回答

Kafka主题和架构注册表主题

confluent-schema-registry、spring-boot-cloud-streams

我想知道出了什么问题，因为单个生产者或消费者客户端似乎能够在没有显式配置的情况下从主题中识别出正确的主题名称。(CachedSchemaRegistryClient.java:444) ~[kafka-schema-registry-client-7.0.0.jar:na] at io.confluent.kafka.schemaregistry.client.SchemaRegistryClient.getId(SchemaRegistryClient.java:192) ~[

浏览 44提问于2021-11-15得票数 0

2回答

如何使用python生成不使用avro类型的模式？

python、apache-kafka、avro、confluent-platform、confluent-schema-registry

我使用下面的代码并向kafka发送消息。它起作用了。from confluent_kafka.avro import AvroProducer value_schema_str = "

浏览 3提问于2020-04-16得票数 0

回答已采纳

3回答

AVRO原语类型的Serde类

java、apache-kafka、avro、apache-kafka-streams、confluent-platform

我正在用Java编写一个Kafka流应用程序，它接受连接器创建的输入主题，该连接器使用模式注册表和avro作为键和值转换器。我试过了 org.apache.kafka.common.serialization.Serdes$WrapperSerde生成运行时错误:无法为streamsConfiguration.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG

浏览 0提问于2018-08-21得票数 4

回答已采纳

1回答

当存储值为Avro SpecificRecord时，SpecificRecord无法工作

apache-kafka、avro、apache-kafka-streams、spring-cloud-stream、confluent-schema-registry

因此，我在valueSerde注释中添加了KafkaStreamsStateStore参数，指示SpecificAvroSerde的参数：现在我在AbstractKafkaAvroSerializer.serializeImpl中得到了一个AbstractKafkaAvroSerializer.serializeImpl，因为在id:82) at io.confluent.kafka.se

浏览 0提问于2019-06-17得票数 3

1回答

未能连接到合流平台架构注册表- Apache Confluent格式

apache-kafka、apache-flink、confluent-platform、confluent-schema-registry、flink-sql

我正在使用集群、Schema服务，并试图在Flink作业中处理Debezium消息。作业被配置为使用Table & SQL连接器和Confluent格式。:352) at io.confluent.kafka.schemaregistry.client.rest.RestService.getId(RestService.java:660)at io.confluent.kafka.schemaregistry.client.rest.RestServi

浏览 3提问于2021-02-08得票数 3

3回答

如何使用Spring cloud stream访问受密码保护的confluent模式注册服务器？

apache-kafka、avro、spring-cloud-stream、confluent-schema-registry、aiven

我正在使用spring cloud stream和使用confluent's schema registry的Aiven的模式注册表。Aiven的模式注册表使用密码保护。"USER_INFO"); props.put("basic.auth.user.info", "avnadmin:schema-reg-password"); 当我只使用vanilla java的kafka目前，我将"basic.auth.user.info"和"basic.auth.cr

浏览 21提问于2019-04-16得票数 2

回答已采纳

1回答

模拟在python构造函数中实例化的外部服务

python、apache-kafka、python-unittest、pytest-mock、confluent-kafka-python

我遇到的问题是，由于我在服务的构造函数中实例化客户端，所以测试失败了，因为我不确定如何修补构造函数。我的问题是如何模拟我的服务，以便正确地测试它的功能。Example_Service.py: def __init__(self, config): self.service = SchemaRegistryClie

浏览 8提问于2022-02-08得票数 0

1回答

我们可以将独立的Spring Cloud Schema Registry与Confluent的KafkaAvroSerializer一起使用吗？

spring-kafka、spring-cloud-stream、confluent-schema-registry、spring-cloud-stream-binder-kafka

对于流的输出，我使用Avro，并使用Confluent提供的Serde (io.confluent.kafka.streams.serdes.avro.SpecificAvroSerde)。我可以在Confluent Schema Registry中使用它。序列化和反序列化是正确发生的。我配置了一个独立的Schema Registry服务器，并在我的项目中将模式注册表设置为它(将 schemaRegistryClient.endpoint和schema.registry.url属性)。它

浏览 107提问于2020-09-24得票数 0

回答已采纳

点击加载更多