使用cloudera进行Kafka通信

文章/答案/技术大牛

发布

1回答

apache-kafka、cloudera

本地->HAProxy(AWS)->Kafka(AWS)。我们可以使用advertised.listerers属性来允许外部通信，也可以使用监听器进行内部通信。如果我们同时启用了这两个设置，则通信将无法正常进行。我们使用0.10.2作为Kafka版本。我相信我们需要通过zookeeper进行一些设置来控制代理通信。我们如何使用cloudera

浏览 48提问于2019-01-11得票数 0

1回答

如何从外部通过专用网络与Cloudera* Kafka经纪人取得联系？*

apache-kafka、cloudera、cloudera-cdh、kafka-python

我试图在一个外部服务器与我的私有服务器之间建立一个Kafka通信。我的方法是设置一个IP表，其中一个公共IP指向我的私有IP。此外，我打开了端口9092和9093，使它可以从外部到达。telnet <public_ip> 9092我的kafka代理在cloudera集群下，我用Cloudera创建了它。=PLAINTEXT://<private_ip>:9092,SSL://&l

浏览 2提问于2018-11-12得票数 0

回答已采纳

1回答

在套餐分布式CDH 5.16中下载Kafka或confluent平台

apache-kafka、hdfs、cloudera-cdh、cloudera-manager

我已经在RHEL服务器上使用packages安装了CDH 5.16 Express。我现在正在尝试安装Kafka，我观察到只有当CDH作为parcels安装时才能安装它。1)可以安装Kafka或confluent platform" separately in the server and use it along withCDH` `组件吗？2)是否有使用Cloudera Manager安装Kafka的其他解决方法

浏览 18提问于2019-05-28得票数 0

1回答

无法删除cloudera中的默认kafka配置

apache-kafka、cloudera

在由kafka(1 broker)提供的PoC cloudera集群中，我试图通过公共IP与外部生产者一起向集群发送消息。在这篇伟大的文章之后，我找出了我需要的kafka侦听器配置，因为这个代理公共IP只能从我的本地机器上访问，并且在集群内部，它们只能使用它们的内部主机名进行通信：

浏览 1提问于2018-09-25得票数 0

3回答

如何找到kafka配置文件？

python、terminal、apache-kafka

当我尝试创建一个主题时，我在使用kafka Error while executing topic command replication factor: 1 larger than available

浏览 7提问于2016-02-28得票数 16

1回答

在Kafka中，如何找到给定开始日期和结束日期(或时间戳)之间的所有分区的偏移量，并重放消息

apache-kafka、apache-kafka-streams

我需要找到给定开始日期和结束日期之间的所有偏移量，然后重新播放消息，因为这段时间消息丢失了。

浏览 10提问于2020-11-05得票数 0

回答已采纳

2回答

kafka控制台消费者未收到控制台生产者的消息

apache-kafka、cloudera

我最近使用docker image设置了一个cloudera quickstartVM，并在其中设置了Kafka包。kafka-topics --create quickstart.cloudera:9092 --replication-factor 1 --partitions 1 --topic test3 ----topic test3 使用者在终端1的控制台上启动 Console Producer: kafka-console-producer --broker

浏览 27提问于2019-05-07得票数 0

1回答

错误org.apache.kafka.common.errors.InvalidReplicationFactorException：

apache-kafka

您能帮助我在cloudera VM 5.13中运行命令时如何修复下面的错误吗 Kafka Server is running [OK] [cloudera@quickstart ~]$ /usr/bin/kafka-topi

浏览 0提问于2018-08-02得票数 1

1回答

Cloudera Kafka命令行启动服务器不工作

apache-kafka、cloudera-manager

制片人：消费者：以上不工作的Cloudera版本，但工作在我的独立卡夫卡安装。这适用于Cloudera： /usr&#x

浏览 2提问于2017-12-06得票数 2

1回答

使用cloudera和IBM MQ接收kafka

apache-kafka、ibm-mq、cloudera、apache-kafka-connect

是否可以使用Kafka-Cloudera捕获IBM MQ数据？ confluent公司提供了用来捕获IBM MQ数据的连接器，但是我不确定我是否可以用Kafka-Cloudera做同样的事情。

浏览 12提问于2018-12-28得票数 0

1回答

如何为Kafka和Zookeeper设置JAVA_HOME Cloudera快速入门

hadoop、apache-kafka、cloudera、cloudera-manager、cloudera-quickstart-vm

我已经将Kafka服务添加到我的Cloudera集群中，当我尝试启动它时，它失败了，错误如下 Exception in thread "main" java.lang.UnsupportedClassVersionError: org/apache/kafka/common/utils/KafkaThread : Unsupported major.minor version 52.0 据我所知，这是由于不同的java版本，Kafka需要1.8版本，而<

浏览 29提问于2019-12-24得票数 0

回答已采纳

2回答

Spark 2.1.0与Kafka* 0.9.0的连接*

apache-spark、apache-kafka、spark-structured-streaming

我使用的是Kafka 0.9.0和Spark 2.1.0，我的Spark提交如下：我收到以下错误： java.lang.NoSuchMet

浏览 2提问于2018-05-26得票数 1

1回答

使用登录上下文'Client‘进行SASL身份验证失败

apache-kafka、sasl

我正在使用CDH 5.5中的Kerberos保护Kafka Kafka版本: 2.0.1 Kerberos已启用并且工作正常Jun 29，3:02:42.879 PM信息org.apache.zookeeper.ClientCnxn 已建立到brahem.localhostzookeeper状态已更改(

浏览 2提问于2016-06-29得票数 0

1回答

Kafka-“从源套接字接收到的通道读取的1很可能已经关闭”

sockets、apache-kafka

我首先使用以下命令创建一个主题测试然后，当我尝试使用以下命令向Kafka中的主题插入一条新消息时 /opt/cloudera&#

浏览 7提问于2015-07-22得票数 0

回答已采纳

2回答

是否有必要从一个节点到另一个节点执行SSH以完成cloudera集群的安装？

hadoop、cloudera、cloudera-manager

我正在创建一个cloudera集群，当我从一个节点执行SSH到另一个节点时，我会收到消息说“公共密钥”(Public)对计算机的.Login使用PEM文件和解释，为了完成cloudera集群安装，需要从一个节点执行

浏览 1提问于2018-04-26得票数 0

回答已采纳

2回答

卡夫卡的server.properties文件在Cloudera的经理下？

apache-kafka、cloudera

如果卡夫卡的server.properties文件是由cloudera的经理管理的，那么它在哪里？

浏览 2提问于2017-01-04得票数 1

2回答

连接到SSL安全Kafka时出现问题

ssl、apache-kafka、spark-streaming

我正在尝试让kafka spark流媒体消费者与Kafka经纪人合作，并使用SSL进行安全保护。使用者在Kerberised集群上运行。因此，我的使用者代码使用以下配置： sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="(username)" password="(password)&qu

浏览 1提问于2018-06-22得票数 0

1回答

Spark Streaming with Spark 2和Kafka* 2.1*

apache-spark、apache-kafka、cloudera、cloudera-cdh

我正在将一个Java项目从Cloudera 5.10升级到Cloudera 6.2。我们有Spark Streaming从Kafka读取数据来处理它并将结果写到其他地方。在升级过程中，Spark从v1.6升级到v2.1，Kafka从v0.8升级到v2.1。为了执行流处理，我们使用KafkaUtils.createStream(...)连接到Kafka，但KafkaUtils在Kafka 2.11中不再可用。然而，我似乎找不到任何Spark Streaming + <em

浏览 11提问于2021-09-27得票数 0

3回答

如何使用Spark Scala API读取kafka中的消息

scala、apache-spark、apache-kafka、hbase、spark-streaming

我无法在msgItr中接收消息，因为在命令提示符中使用kafka命令，我能够看到分区中的消息。请让我知道这里发生了什么。我应该怎么做才能收到这些信息。 "value.serializer" -> "org.apache.kafka.common.serialization.StringSerializer" //"heartbeat.interval.mslog.info(s"Processing RDD

浏览 1提问于2018-09-19得票数 0

1回答

如何在提交Spark作业时优先考虑maven依赖而不是Spark类路径？

maven、apache-spark、apache-kafka、spark-streaming、spark-streaming-kafka

我有一个Hadoop、Spark等的Cloudera发行版，其中Spark-Kafka版本是0.8 (即spark-streaming-kafka-0-8_2.11)。问题是，带有Kafka集成的Apache Spark 0.8版本内置了Kafka版本0.8.2.1，而我需要0.10.0.1。有没有办法解决这个问题？我不想使用spark-streaming-kafka-0-10_2.11，因为它不是一个稳定的版本。我尝试将其添加到maven依赖项中(用jars打包)

浏览 18提问于2018-12-28得票数 0

点击加载更多