如何使用python发布kafka模式

文章/答案/技术大牛

发布

1回答

python、rest、apache-kafka、confluent-schema-registry

我正在尝试发布一个使用python的kafka模式。在CLI中，我将使用如下语法： curl -X POST -H "Content-Type: application/vnd.schemaregistry.v1+json" --data '{"schema\"int\"}]}}]}}}]}}}]}"}' http://server_ip:8081/subjects&#

浏览 8提问于2020-12-08得票数 0

回答已采纳

1回答

如何使用nifi发布和消费NiFi json to avro和avro to json内容给kafka

apache-kafka、apache-nifi

因此，根据我的理解，如果我们使用模式注册表，模式将不会添加到正在发布到Kafka的Avro内容中，只会发送模式ID，对吗？？如何使用Horton works架构注册表、使用Avro序列化和反序列化通过Kafka发布和消费？在Nifi中，ConvertJsonToAvro模式将在sending.SO中嵌入，是否还有其他处理器在发布时使用模式

浏览 0提问于2019-07-23得票数 0

1回答

使用架构注册表异常的Avro序列化

java、serialization、apache-kafka、avro、confluent-schema-registry

我有一个由Kafka Connect创建的注册表架构。我还试图以编程方式发布到与模式相关的Kafka主题(使用TopicRecordNameStrategy)，使用与我的Java应用程序中的注册表中存在的模式定义完全相同的模式定义，用例是自动重新发布延迟的消息因此，通过使用已经存在的确切模式，我是如何抛出异常的： "Schema being registered is i

浏览 17提问于2021-11-21得票数 0

3回答

从dataframe - spark - scala创建avro模式

scala、apache-spark、apache-kafka、avro、confluent-schema-registry

我想写一个avro格式的dataframes流到kafka中；如果有别的办法我会很感激的

浏览 2提问于2018-06-14得票数 4

2回答

Kafka是消息队列吗? Kafka可以作为数据库吗？

apache-kafka

有些地方提到的Kafka是发布-订阅消息传递。其他消息来源提到的Kafka是消息队列。我可以问一下它们之间的区别吗? Kakfa可以用作数据库吗？

浏览 54提问于2019-11-18得票数 0

1回答

使用将模式和数据更改从MySQL流到MySQL

apache-kafka、apache-kafka-connect

如何使用Kafka连接源连接器将模式和数据更改以及某些类型的转换流到另一个MySQL实例。如果我使用Kafka的Python (Confluent_kafka)在加载到目标DB之前使用和转换消息，是否也有一种传播模式更改的方法。

浏览 3提问于2022-06-01得票数 0

1回答

发布/订阅模式下的Kafka消费者

java、apache-kafka

我需要在发布/订阅模式下调用Kafka consumer 1000次。据我所知，为了让kafka在发布/订阅模式下工作，我需要给每个消费者一个新的groupId ( props.put("group.id"，kafka但是当我这样做时，如果两个消费者线程在同一毫秒内访问消费者这个问题该如何解决呢？

浏览 1提问于2018-05-13得票数 1

2回答

如何冻结一个主题的AVRO schema的新版本，从而拒绝不符合要求的消息？

apache-kafka、avro、confluent-schema-registry、kafka-rest

使用Java Client producer，可以在发布到主题之前对消息进行微调以符合模式格式。使用kafka rest proxy，如果消息无法用kafka avro模式版本反序列化，如何拒绝消息？这是为了防止不符合模式的客户端添加垃圾。我看到这个版本会自动升级到一个主题的新模式。如何限制消息发布到主题？这可能是由于所有bug的生产者客户端。我正在搜索文档，我刚开始学习卡夫卡。

浏览 33提问于2019-11-22得票数 0

1回答

如何存储主题上的数据，这些数据将通过生产者作为消息传递，以便可以加载到相应列的数据库中

apache-kafka、cassandra

到目前为止，我使用kafka spring在this blog上生成了一条主题消息。如何实现上述功能？

浏览 12提问于2021-08-25得票数 1

回答已采纳

1回答

使用Kafka* REST代理发布Avro消息会引发“将JSON转换为Avro失败”*

spring-boot、apache-kafka、avro、confluent-platform、confluent-schema-registry

, "type": "record",}Java类是在Spring项目中使用Avro模式中的gradle插件构建的。当我使用生成的Java类并发布消息时，<

浏览 21提问于2020-05-11得票数 1

回答已采纳

1回答

谁负责卡夫卡队列中的Avro Schema序列化？

apache-kafka、avro

我正在学习Avro模式序列化的基础知识。我理解，键和值都可以有它们特定的Avro模式。然而，我感到困惑的是序列化过程实际上是如何工作的。或者，在向主题发布消息时指定要使用的架构吗？最后，假设我用my

浏览 5提问于2022-11-17得票数 0

回答已采纳

1回答

将脚本生成的数据移动到Kafka主题，然后移动到HDFS

unix、hive、apache-kafka

我有一个脚本来获取特定Kafka主题中的消息计数，它只能在Kafka托管的服务器中执行。脚本的输出必须移动到配置单元/HDFS。那么我可以先把它移到Kafka topic，然后再用HDFS Sink连接器移到HDFS吗？如果是，如何将脚本生成的数据移动到Kafka topic？如果有更好的解决方案，也请让我知道。

浏览 2提问于2018-12-26得票数 0

2回答

使用瓶装水-pg，如何读取Python用户的数据？

python、avro、apache-kafka

我用Python编写了一个使用者，如下所示：import avro.schemaimport io group_id='',消费者的输出是空的： $ python</e

浏览 3提问于2015-06-25得票数 1

回答已采纳

2回答

在这种情况下使用Apache有意义吗？

apache-kafka、messaging、apache-kafka-streams、apache-kafka-connect

卡夫卡如何支持数据转换？谢谢你的建议

浏览 2提问于2017-10-11得票数 1

回答已采纳

1回答

使用kafka对new4j-stream的节点模式进行白名单失败

database、neo4j、apache-kafka、stream、nosql

我已经配置了新的4J-stream支持从neo4j自动发布通知到kafka。使用ne4j-3.4.11企业版kafka.num.partitions=1kafka.batch.size=16384 kaf

浏览 0提问于2019-09-21得票数 0

1回答

用于嵌套记录的合流Kafka生产者消息格式

apache-kafka、avro、confluent-platform、confluent-schema-registry、confluent-kafka-python

我在kafka主题中注册了一个AVRO模式，并试图向其发送数据。该模式有嵌套记录，我不确定如何使用confluent_kafka python正确地向其发送数据。示例模式： *ingore模式中的任何类型(真正的一个非常大，只是一个例子) "namespace": "company__name", &qu

浏览 0提问于2021-01-13得票数 0

2回答

我需要订阅实时消息文件，这些文件可能是在发布子模型的客户端已经存在的MQ设置中发布的。当我订阅MQ的主题来接收消息文件时，我是否应该使用Kafka只获取这些文件，然后处理它们并使用任何更好的API (如Python )存储在我的文件系统中？我期待这样的设置：-当文件发布给Kafka时，我是否应该使用Python与Kafka broker交谈以接收这些文件以供进一步处理？注意:我不希望在

浏览 1提问于2019-03-21得票数 1

回答已采纳

4回答

编辑yaml文件的bash - sed查询

bash、vim、sed

我有一个config.yaml文件，其中包含了下面的kafka代理列表，我想使用bash脚本从配置中删除该列表。kafka.brokers: - "node004"vi $CONF_BENCHMARK/config.yaml-c ":%s/kafka.brokers:$\n\s*-\s".*"$*/<

浏览 4提问于2016-12-19得票数 3

回答已采纳

3回答

模式注册表的集成

json、apache-kafka、event-handling、confluent-schema-registry

我正在开发一个应用程序(B)，它使用模式注册表并允许客户端(A)向任何其他平台(C)发送数据。总体设计:客户端A ->平台B ->目的地C 所以我不一定要向卡夫卡发布信息。是否有关于如何将模式注册表与未发布到kafka的自定义应用程序集成和使用的文档？我所能找到的所有文档都是与kafka一起使用注册表的。对于这个设置，我发现很难最终确定要使用的序列化格式--如果我使用a

浏览 4提问于2022-08-07得票数 1

1回答

获取作业元数据和发布日志-驱动程序或执行器

python、apache-spark、pyspark、apache-kafka、hbase

此外，我们还有几个步骤在酝酿之中，并以Kafka事件的形式发布我们的日志。我们在驱动程序中使用hbase-python来获取元数据还是使用spark.read.format("org.apache.hadoop.hbase.spark") -这是更有效的。用于向kafka发布日志消息，我们是使用标准python--驱动程序中的kafka生产者还是使用df.write.format

浏览 4提问于2022-10-11得票数 0

点击加载更多