kafka json数组使用者scala

文章/答案/技术大牛

发布

1回答

json、scala、kafka-consumer-api

如果我们有如下生成的JSON数据， [{"name":"Andy", "age":30}] .format("kafka") .option("kafka<

浏览 14提问于2020-04-02得票数 0

1回答

无法使用Kafka命令行将json* tweet事件发送给kafka主题/制作者*

hadoop、apache-kafka、apache-zookeeper、hortonworks-sandbox

来自twitter的json数据将使用下面的脚本传递给kafka制片人。localhost:2181 --topic raw_json_tweets` raw_json_tweets是为这些推文创建的卡夫卡主题。/usr/hdp/current/kafka-broker/bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic raw_json<

浏览 4提问于2016-08-25得票数 2

回答已采纳

1回答

Kafka使用者:从代理[ArrayBuffer(id:0，host:user，端口:9092)]获取主题元数据失败

apache-kafka、apache-zookeeper、producer-consumer

设置以下属性: advertised.host.name advertised.port at kafka.producer.SyncProducer.liftedTree1$1(SyncProducer.scala:73) at kafka.producer.SyncProducer.kafka(ConsumerFetc

浏览 3提问于2016-01-18得票数 7

回答已采纳

1回答

Kafka:我可以在zookeeper端口号后面加上一条路径吗？

connection-string、apache-kafka

string: "9092/kafka"Properties props = new Properties();如果zookeeper连接省略了/kakfa，则java使用者会得到异常 Properties props

浏览 0提问于2014-04-16得票数 0

1回答

如何增加动物园管理员连接超时

apache-zookeeper、kafka-consumer-api

我的Kafka使用者经常将连接松散到Zookeeper，并且由于连接超时而无法连接。谢谢。下面是日志。<init>(ZkClient.java:129)at kafka.utils.ZkUtils$.apply(ZkUtils.scala:71) at kafka.consumer.Zookeep

浏览 0提问于2016-01-31得票数 0

1回答

卡夫卡消费者不退货

scala、apache-kafka、kafka-consumer-api

下面的Scala使用者不返回来自poll调用的任何事件。但是，该主题是正确的，我可以看到使用控制台使用者将事件发送到主题：当我使用调试器并调用kafkaConsumer.listTopics()时，我还在下面的<e

浏览 0提问于2018-12-20得票数 2

回答已采纳

1回答

我们如何通过命令行运行多个kafka用户？

apache-kafka

/bin/kafka-consumer-perf-test.sh --zookeeper localhost:2181 --topic test-topic --group test1 at kafka.consumer.SimpleCo

浏览 3提问于2017-01-11得票数 0

1回答

消费者的卡夫卡kafka.common.MessageSizeTooLargeException

apache-kafka

因此，根据，代理和使用者的消息大小增加了：replica.fetch.max.bytes=10485760 at kafka.utils.IteratorTemplate.maybeComputeNext(IteratorTemplate.scala:66) at kafka.utils.IteratorTemplate.hasNex

浏览 3提问于2015-08-26得票数 2

回答已采纳

1回答

如何在合流kafka* rest代理中访问主题的最新偏移量来计算滞后*

apache-kafka、kafka-rest

在合流的kafka rest代理中，我们可以得到特定消费群体的最后提交偏移量，但是如何才能得到主题的最新偏移量来计算滞后值。

浏览 2提问于2019-07-11得票数 0

3回答

Kafka使用者“未能为分区添加领导者”在Mesos上运行错误

apache-kafka、apache-zookeeper、mesos

我正在运行以下使用者命令： [2015-09-24 16:01:06,609] WARN [my.group_my_host-1443106865779-b5a3a1e1:78) at kafka.consumer.SimpleConsumer.<em

浏览 7提问于2015-09-24得票数 4

1回答

拥有相同groupId的多个星火卡夫卡消费者

apache-spark、apache-kafka、spark-streaming、kafka-consumer-api

根据Kafka的文件，它说：at org.apache.spark.streaming.kafka010.DirectKafkaInputDStream.compute(DirectKafkaI

浏览 1提问于2019-10-14得票数 2

1回答

本地Kafka应用程序失败: NoSuchMethodError: createEphemeral

apache-spark、apache-kafka、producer-consumer、apache-zookeeper

我在以下配置中使用IntelliJ：以及我的运行配置，用于使用者:2181" "zumbaApp-gpId" "D2SI" "1""127.0.0.1:9092" "D2SI" "my\Input\File.csv" 300 在此之前，

浏览 2提问于2016-05-31得票数 3

回答已采纳

1回答

kafka.javaapi.和org.apache.kafka.之间有什么区别？

api、apache-kafka

我是kafka.But的新学习者，让我感到困惑的是，似乎有两个卡夫卡客户包。import kafka.javaapi.producer.Producer;import kafka.producer.ProducerConfig;import org.apache.kafka.clients.pro

浏览 3提问于2015-03-27得票数 14

回答已采纳

1回答

卡夫卡java客户端不消费-只是挂在consumer.poll上

java、apache-kafka、kafka-consumer-api

我正在跟踪Manning编写的统一日志处理()一书，它的第一个练习是Java中一个简单的kafka用户。当程序运行时，就会暂停调用consumer.poll()的位置。它有zookeeper-3.4.6和kafka_2.10-0.8.2.1.1kafka-console-producer和kafka-console-consumer正在按预期工作。topic is not valid (kafka.util

浏览 2提问于2016-10-18得票数 3

回答已采纳

1回答

kafka在消费前记录合同验证

java、json、spring-boot、validation、apache-kafka

我目前正在处理一个用例，我正在使用kafka中的记录，并对这些记录进行处理。但问题是，有时我们从生产者端收到字段为空的记录，或者有时甚至kafka记录合同正在被破坏。记录只是一个字节数组。public Status process(Record record) { @JsonProperty("cart_sessions") privat

浏览 14提问于2021-08-04得票数 1

2回答

Kafka消费者组隐式命名算法

apache-kafka、kafka-consumer-api

当kafka客户端应用程序没有明确设置组id时，消费者组的名称到底是如何创建的，基于什么？我看到在某些情况下，当它包含服务器进程的名称时(比如当使用kafka-console-consumer.sh时，它类似于console- consumer -nnnn)启动了消费者，有时它反映了消费者通过监听器连接而不经过身份验证的事实

浏览 4提问于2019-03-13得票数 0

1回答

一些提交抵消呼叫在kafka中失败了。

apache-kafka、kafka-consumer-api

(NetworkReceive.java:83) at kafka.network.BlockingChannel.receive(BlockingChannel.scala:120) at kafka.consumer.ZookeeperConsumerConnector.liftedTree2$1(ZookeeperConsume

浏览 2提问于2017-04-11得票数 1

回答已采纳

2回答

不使用模式注册表从kafka使用者检索模式

avro、kafka-consumer-api

kafka生产者将数据转换为字节数组并发送给kafka使用者。使用者返回发送的数据。我的问题是，如何在不引入模式注册概念的情况下，从kafka使用者那里检索模式。有没有一种方法可以不使用模式注册表从kafka使用者那里获得模式？

浏览 3提问于2017-06-16得票数 2

回答已采纳

2回答

星星之火结构流: StreamingQuery.awaitTermination()在将所有数据写入Kafka之后不会退出

scala、apache-spark、apache-kafka、spark-structured-streaming

我正在编写一个小型Scala程序，它应该得到一些小数据，将其写入Scala并终止。我该怎么处理呢？这里是我的Scala核心来重现这个问题：import comm

浏览 1提问于2022-05-09得票数 1

1回答

卡夫卡-在Windows IOException上创建生产者

java、apache-kafka、ioexception

我在Windows上运行Apache Kafka。当我经营动物园管理员和一个经纪人的时候，一切都没问题。然后我运行producer命令，一切都还好。当我运行使用者命令时，我会得到以下错误。<init>(TimeIndex.scala:54) at kafka.log.Log.loadSegments(Log.scala:41

浏览 0提问于2018-07-03得票数 1

回答已采纳

点击加载更多