开启Kerberos后Kafka启动失败SASL认证失败
Kafka是一个分布式流处理平台，常用于构建实时数据流应用程序和数据流管道。Kerberos是一个网络认证协议，用于提供强大的身份验证和访问控制功能。当开启Kerberos后，Kafka启动时可能会遇到SASL认证失败的问题。
SASL（Simple Authentication and Security Layer）是一种用于网络认证和安全的框架，它为客户端和服务器之间的通信提供了一种安全的认证机制。Kafka使用SASL进行身份验证和授权，以确保只有经过授权的用户能够访问Kafka集群。
当Kafka启动失败并提示SASL认证失败时，可能是由于以下原因导致的：
- 配置错误：Kafka的配置文件中可能存在错误的SASL配置，如认证机制、密钥tab文件路径等配置项。 解决方法：检查配置文件中的SASL相关配置是否正确，并确保配置项与Kerberos认证服务的配置一致。
- Kerberos服务异常：Kerberos服务可能存在异常，如KDC（Key Distribution Center）无法正常工作或密钥tab文件无效等。 解决方法：检查Kerberos服务是否正常运行，确保KDC服务可用并密钥tab文件有效。
- Kafka账户权限问题：Kafka的服务账户可能没有足够的权限进行SASL认证。 解决方法：确保Kafka服务账户具有足够的权限进行SASL认证，如具有访问Kerberos KDC的权限、访问密钥tab文件的权限等。
- 客户端配置错误：客户端连接Kafka时的SASL认证配置可能存在错误，导致无法通过SASL认证。 解决方法：检查客户端配置文件中的SASL认证配置是否正确，并确保客户端与Kafka集群的SASL配置一致。
针对这个问题，腾讯云提供了一些相关产品和服务，例如腾讯云身份管理 CAM（Cloud Access Management），CAM提供了身份认证和访问管理的解决方案，可用于管理用户、角色、策略、权限等。此外，腾讯云还提供了弹性伸缩计算服务、消息队列 TDMQ（Tencent Distributed Message Queue）等产品，用于支持云计算、消息传递等场景。
更多关于腾讯云相关产品和服务的介绍，请访问腾讯云官方网站：https://cloud.tencent.com/
相关·内容
1回答
我的目标集群是启用kerberos的。从控制台，生产者连接正在工作。
./kafka-console-producer.sh --broker-list targetHost:port --topic test --producer.config /path/to/client.properties
我在bash_profile中添加了下面的条目，以传递jaas.conf和krb5.conf
export KAFKA_OPTS="-Djava.security.auth.login.config=/path/to/jaas.conf -Djava.security.krb5.conf=
浏览 2提问于2020-01-29得票数 2
我的工作是利用合流卡夫卡s3连接器下载卡夫卡记录，并将他们作为地板文件保存在迷你。它在没有认证的假人卡夫卡下工作得很好。
现在，我试图用一个需要kerberos身份验证的真正的kafka实例来验证流程。
我保证我的kerberos凭据已经就绪，并已正确设置。
env | grep OPTS
KAFKA_OPTS=-Djava.security.krb5.conf=/plugins/krb5.conf -Djava.security.auth.login.config=/plugins/kafka_client_jaas.conf
在我的connector.properties文件中，我指定了以
浏览 15提问于2022-09-21得票数 0
尝试使用现有的Kafka部署首次运行Kafka Connect。使用SASL_PLAINTEXT和kerberos身份验证。
当我第一次尝试启动connect-distributed时，我看到：
ERROR Uncaught exception in herder work thread, exiting: (org.apache.kafka.connect.runtime.distributed.DistributedHerder:227)
org.apache.kafka.common.errors.TimeoutException: Timeout expired while fetc
浏览 110提问于2019-07-12得票数 1
1回答
Kafka已经提供了不同的SASL认证机制，如GSSAPI (Kerberos)、PLAIN、SCRAM-SHA-256、SCRAM-SHA-512和OAUTHBEARER。
对于生产环境，上述列表中的最佳身份验证机制是什么？
浏览 11提问于2018-09-26得票数 3
1回答
我已经设法在Docker中使用Web Tracker、Scala Stream Kafka Collector、Stream Enrich、Druid和Metabase实现了端到端的本地实现。
在使用Helm在Kubernetes中构建工作的登台环境之前，我想尝试将Scala Stream Kafka收集器连接到我们的Kafka Confluent Cloud帐户。但是，我遇到了SASL身份验证的问题。关于这个主题的文档非常少，只是让我们参考了Kafka文档。这是我的config.hocon配置-
sink {
enabled = kafka
brokers = "our-do
浏览 101提问于2021-03-10得票数 0
我试图使用SASL和GSSAPI使用明文运行一个kafka服务器，但是出错。
2018-10-03 16:08:54,220错误控制器id=0，targetBrokerId=0连接到节点0的身份验证失败，原因是:错误：(java.security.PrivilegedActionException: javax.security.sasl.SaslException: GSS启动失败由GSSException:未提供有效凭据引起)在评估从Kafka Broker收到的SASL令牌时发生。卡夫卡的客户将进入AUTHENTICATION_FAILED州。(org.apache.kafka.cli
浏览 2提问于2018-10-03得票数 0
我在我的Windows电脑上运行了和Apache服务器。问题在于Spring应用程序:每当我启动它时，它都会从Kafka读取相同的消息。这意味着偏移量没有被保存。我该怎么解决呢？
版本有：kafka_2.12-2.4.0，Spring Boot 2.5.0。
在卡夫卡的听众bean里，我有
factory.getContainerProperties().setAckMode(AckMode.MANUAL_IMMEDIATE);
当Spring启动时，控制台上打印的使用者配置值如下：
2021-06-10 18:21:11.008 INFO 7036 --主o.a.k.clients.cons
浏览 1提问于2021-06-10得票数 1
回答已采纳
1回答
我正在使用Kafka，并且已经为kerberos身份验证启用了kerberos (使用GSSAPI的SASL_PLAINTEXT)。我正在尝试理解kerberos是如何在代理间身份验证中工作的，因为我在这里没有看到任何关于客户端的jaas配置的信息。 server.properties： security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=GSSAPI
sasl.kerberos.service.name=kafka
advertised.listeners=SASL_PLA
浏览 17提问于2019-01-30得票数 0
我需要使用身份验证协议Kerberos使用Camel将ActiveMQ消息路由到Kafka(Cloudera)。
ActiveMQ v5.15.4
骆驼:2.21.1
Kafka客户: 1.1.0
服务器版本: Apache/2.4.6(CentOS)
Kafka安全文档声明它只支持SASL_PLAINTEXT和
Kerberos的SASL_SSL
另一方面，当我试图在Camel中使用SASL_PLAINTEXT作为安全协议时，我在ActiveMQ启动过程中出现了一个错误。因此，ActiveMQ将不会启动。
我从：获取了最新的骆驼代码，它声明它只支持、SSL、和明文作为
浏览 0提问于2018-06-23得票数 1
Kafka v2.4消费者配置：-
kafka.consumer.auto.offset.reset=earliest
kafka.consumer.auto.commit=false
Kafka消费容器配置：-
@Bean
public ConcurrentKafkaListenerContainerFactory<String, PayoutDto> kafkaPayoutStatusPoolListenerContainerFactory() {
ConcurrentKafkaListenerContainerFactory<String, PayoutDto&
浏览 2提问于2021-04-13得票数 1
回答已采纳
我正在运行一些java 8 Kafka应用程序，其中一些是Kafka流，其他的是简单的生产者/消费者。 对于它们中的每一个，都没有功能问题，它们在大多数时间都运行得很好。 但是，对于它们中的每一个，我都会得到SaslAuthenticationException的临时出现。由于它们大约每隔几周发生一次，我不确定如何复制/推断根本原因： 错误： Failed to create channel due to
org.apache.kafka.common.errors.SaslAuthenticationException: Failed to configure SaslClientAut
浏览 488提问于2019-04-29得票数 0
我在Confluent Kafka-Connect镜像中使用AWS MSK TLS端点时遇到了问题，因为它在创建/读取主题时超时。当我通过PlainText端点时，它完全可以正常工作。
我尝试引用了在docker镜像上可用的jks存储路径，但仍然不能工作，不太确定我是否遗漏了任何其他配置。从我从AWS文档中看到的Amazon MSK brokers使用公共AWS证书管理器证书，因此，任何信任Amazon Trust Services的信任库也信任Amazon MSK brokers的证书。
**Error:**
org.apache.kafka.connect.errors.ConnectEx
浏览 1提问于2020-03-13得票数 1
我正在使用librdkafka在windows上编写kafka .net客户端，它连接到运行在linux中的kafka集群(基本上是跨平台)。我希望公开客户端中所需的所有配置，并使用一些默认值设置它们(在默认值中，我基本上不想设置加密，也不需要身份验证)，这样我的终端客户端就可以根据它们的安全需要更改这些值。
{"security.protocol", "plaintext" },
{"ssl.ca.location","" },
{"sasl.me
浏览 0提问于2018-04-29得票数 1
回答已采纳
我正在运行代码，它只消耗了该主题中的1条最新记录。我想要这个话题的所有记录。另外，我存储记录的输出文件也包含记录的元数据。如何跳过元数据。
from confluent_kafka import Consumer, KafkaError
import socket
import os
os.environ['KRB5_CONFIG'] = 'etc/krb5.conf'
os.environ[KRB5_TRACE] = '/dev/stderr'
SETTING = {
'bootstrap.servers': '****
浏览 0提问于2021-04-15得票数 0
我有spring引导应用程序，它是通过rest接收数据的，基于一些业务逻辑，我需要将数据屏蔽到两个不同的kafka集群中，这些集群拥有自己的kerberos密钥，指导了jaas文件。
我在不同的对象实例中编写了两个具有以下属性的不同生产者实例。
@Service
public class EventProducer {
private Logger logger = LoggerFactory.getLogger(EventProducer.class);
Producer<String, String> kafkaProducer = null;
浏览 4提问于2020-06-26得票数 2
我希望增加session.timeout.ms以允许更长的时间来处理在poll()调用之间接收的消息。但是，当我将session.timeout.ms更改为大于30000的值时，它无法创建Consumer并抛出错误。
有人能说出为什么我不能增加session.timeout.ms值，或者如果我遗漏了什么吗？
0 [main] INFO org.apache.kafka.clients.consumer.ConsumerConfig - ConsumerConfig values:
request.timeout.ms = 40000
check.crcs = true
retry
浏览 5提问于2016-07-15得票数 24
回答已采纳
2回答
我用卡夫卡制片发送价格到主题。当我发送第一条消息时，它会打印出厂配置，然后为此发送消息，这需要更多的时间来发送第一条消息。
在第一条消息之后，发送一条消息几乎不需要1/2毫秒。
我的问题是，我们能不能做一些事情，这样配置部分就可以跳过，或者我们可以在发送第一条消息之前启动？
我正在使用春季卡夫卡在我的项目。我也读过其他的问题，但没有多大帮助。
Application.yml
server:
port: 8081
spring:
kafka:
bootstrap-servers: ***.***.*.***:9092
producer:
浏览 2提问于2020-10-06得票数 1
我在kubernetes集群中运行了一个kafka安装。我有一个运行spring boot应用程序的pod，它使用默认的bootstrap.servers (localhost:9092)配置，而不是传入的配置(bootstrap.kafka.svc.cluster.local:9092)。然后pod无法启动，因为kafka没有在localhost上运行。 下面是我的spring boot配置 spring:
kafka:
consumer:
group-id: spring-template
auto-offset-reset: earliest
浏览 19提问于2019-03-11得票数 2
我使用logstash，它接受卡夫卡的输入，并将输出写入弹性搜索。我的输入配置如下所示：
input {
kafka {
bootstrap_servers => "my-aws-msk.kafka.us-east-1.amazonaws.com:9092"
topics => ["agg_events"]
group_id => "agg-logstash-consumer"
consumer_threads => 2
ssl_keystore_location => &
浏览 0提问于2021-10-30得票数 0
1回答
我想运行2火花结构的流式作业在同一个emr集群的消费者相同的卡夫卡主题。两个作业都处于运行状态。然而，只有一个工作可以得到卡夫卡的数据。我对kafka部件的配置如下所示。
.format("kafka")
.option("kafka.bootstrap.servers", "xxx")
.option("subscribe", "sametopic")
.option("kafka.security.protocol", "S
浏览 2提问于2020-08-01得票数 3
回答已采纳
我正在尝试连接到kafka producer，它支持kerberos和SSL，这是properties.yml
spring:
autoconfigure:
exclude[0]: org.springframework.boot.autoconfigure.security.servlet.SecurityAutoConfiguration
exclude[1]: org.springframework.boot.actuate.autoconfigure.security.servlet.ManagementWebSecurityAutoConfiguration
浏览 0提问于2019-12-21得票数 1
我跟踪了这个：
将SASL身份验证配置到我的Kafka集群。我想让我的所有客户通过SASL认证给经纪人。我不在乎卡夫卡<->动物园管理员。原因是我需要在卡夫卡创作ACL。当启动Kafka集群并收到无法向动物园管理员进行身份验证的错误时，就会出现这样的问题：
SASL配置失败: javax.security.auth.login.LoginException:在指定的JAAS配置文件'/etc/kafka/kafka_server_jaas.conf‘中没有找到名为“Client”的JAAS配置部分。在没有SASL身份验证的情况下，如果Zookeeper允许的话，将继续连接
浏览 8提问于2017-07-11得票数 3
回答已采纳
我有一个使用@KafkaListener配置的Kafka使用者(Spring )。这在生产中运行，一切都很好，直到作为维护的一部分，经纪人被重新启动。在文档中，我原以为kafka侦听器会在代理恢复后恢复。然而，这不是我从日志中观察到的。日志停止时有以下异常：
2020-04-22 11:11:28,802|INFO|automator-consumer-app-id-0-C-1|org.apache.kafka.clients.FetchSessionHandler|[Consumer clientId=automator-consumer-app-id-0, groupId=automato
浏览 5提问于2020-04-22得票数 2
回答已采纳
我使用SpringBoot1.5.6 messages 应用程序使用Kerberos身份验证向Kafka 0.11发送消息。这是我的kafka-jaas.conf
KafkaClient{
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
storeKey=true
useTicketCache=true
keyTab="/home/tomi/user-matXp.com.keytab"
principal="user/matXp.com@COM";
浏览 1提问于2019-02-21得票数 0
回答已采纳
1回答
我有一个生产者编写了一个带有100个分区的Kafka主题，它通过用户ID选择分区，因此用户的消息必须按照提交到队列的顺序进行处理。
负责消费的服务有2-10个实例，每个实例的配置如下：
spring.cloud.stream.bindings.input.consumer.concurrency=10
spring.cloud.stream.bindings.input.consumer.partitioned=true
我最近注意到，虽然使用者按照顺序启动来处理分区消息，但有时在之后的消息之前执行一条消息，因为它比下一条更容易处理。
保持当前服务的处理速度对我来说很重要，而且由于我不熟悉sp
浏览 0提问于2018-12-10得票数 2
1回答
我有一个关于卡夫卡自动提交机制的问题。我使用Spring并启用了自动提交。作为一个实验，当系统空闲时，我断开了消费者与Kafka的连接30秒(主题中没有新消息，也没有消息正在处理)。在重新连接之后，我收到了如下几条消息：
Asynchronous auto-commit of offsets {cs-1915-2553221872080030-0=OffsetAndMetadata{offset=19, leaderEpoch=0, metadata=''}} failed: Commit cannot be completed since the group has alre
浏览 4提问于2020-09-24得票数 4
我有一个kafka环境，其中有2个经纪人和1个动物园管理员。
当我试图向kafka生成消息时，如果我停止broker 1(它是领导者)，客户端将停止生成消息并给我以下错误，尽管broker 2被选为主题和部分的新领导者。
org.apache.kafka.common.errors.TimeoutException:无法在60000毫秒后更新元数据。
10分钟后，由于broker 2是新的领导者，我希望producer向broker 2发送数据，但它继续失败，给出了上面的异常。尽管生产者的metadataExpireMs是300000，lastRefreshMs和lastSuccessfull
浏览 0提问于2016-03-01得票数 5
回答已采纳
1回答
我正在尝试使用apache流来讨论kafka主题。但我要解决这个问题。
2018-04-10 02:55:59,856|- ProducerConfig values:
acks = 1
batch.size = 16384
bootstrap.servers = [localhost:9092]
buffer.memory = 33554432
client.id =
compression.type = none
connections.max.idle.ms = 540000
enable.idempotence = f
浏览 0提问于2018-04-10得票数 4
Kafka版本:kafka_2.1.1(二进制) 当我启用Kerberos时，我会密切关注官方文档(https://kafka.apache.org/documentation/#security_sasl_kerberos)。 当我启动Kafka时，我得到了以下错误： [2019-02-23 08:55:44,622] ERROR SASL authentication failed using login context 'Client' with exception: {} (org.apache.zookeeper.client.ZooKeeperSaslClient
浏览 777提问于2019-02-23得票数 0
我有一个非常简单的光束管道，它从Kafka主题读取记录，并将它们写入Pulsar主题： PipelineOptions options = PipelineOptionsFactory.create();
Pipeline p = Pipeline.create(options);
p.apply(
KafkaIO.<Long, String>read()
.withTopic("<topic>")
.withBootstrapServers("<url>")
.withKeyDeseriali
浏览 12提问于2019-06-07得票数 1
回答已采纳
我试图连接到卡夫卡服务器。身份验证基于GSSAPI。
/opt/app-root/src/server/node_modules/node-rdkafka/lib/error.js:411
return new LibrdKafkaError(e);
^
Error: broker transport failure
at Function.createLibrdkafkaError (/opt/app-root/src/server/node_modules/node-rdkafka/lib/error.js:411:10)
at /opt/app-ro
浏览 4提问于2020-10-05得票数 0
我正在尝试使用Spring集成订阅Kafka服务器。我能够在应用程序日志中看到kafka连接日志。在下面同样的情况下。
如果我缺少必要的配置，请告诉我。
16:56:02.959 [main] INFO org.apache.kafka.clients.consumer.ConsumerConfig
ConsumerConfig values:
auto.commit.interval.ms = 100
auto.offset.reset = latest
bootstrap.servers = [10.176.138.40:9092, 10.176.13
浏览 3提问于2017-10-26得票数 1
回答已采纳
我看到了不同的行为。共提供3种不同的服务
第一个服务将从Solace队列中侦听，并将其生成到kafka Top-1(其中启用了事务)
“第二服务”将从上面的kafka主题-1中收听，并将其写入另一个kafka主题-2(在该主题中，我们没有手动提交、允许生成到其他主题的事务、自动提交偏移量设置为false & isolation.level设置为read_commited)
第三，服务将从KafkaTop-2中侦听，并将其写回Solace队列(在该队列中，我们没有手动提交，自动提交偏移量为false & isolation.level设置为read_commited)
浏览 0提问于2019-03-29得票数 1
回答已采纳
我正在使用批处理侦听，具有以下配置，但我的消息错误地反序列化：
@KafkaListener(
id = "${kafka.buyers.product-sales-pricing.id}",
topics = "${kafka.buyers.product-sales-pricing.topic}",
groupId = "${kafka.buyers.group-id}",
concurrency = "${kafka.buyers.concurrency}"
)
public void lis
浏览 13提问于2019-08-01得票数 2
回答已采纳
1回答
我想禁用卡夫卡的内部日志，我没有写。下面的代码是我的基本卡夫卡制片代码。
package me.sclee.kafka.basic.producer;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.slf4j.Logger;
import org.slf4j.LoggerFacto
浏览 8提问于2022-01-20得票数 -1
1回答
嗨，我有一个问题，连接到我的服务器上的卡夫卡…
我在Linux服务器上有kafka (使用Kerberos)，java客户端通过添加配置键表，主体(jaas配置)连接到它，现在我需要添加类似配置到c#应用程序，这将产生一些消息到kafka。C#应用程序将在Windows机上运行。
C#应用程序使用的是Confluent.Kafka，连接到没有kerberos身份验证的kafka非常简单，我像在中那样做
但现在我需要将其配置为连接到安全环境...
那么如何配置将使用现有密钥表文件和主体连接？
我在java中看到了很多示例，但在C#中没有一个类似问题的有效示例。
如果能给我进一步解决问题的建议，我
浏览 3提问于2018-02-05得票数 1
我试图按照kafka命令运行(我们使用的是kafka版本0.9) -
bin\windows\kafka-console-producer.bat --broker-list localhost --producer.config config\action-ssl.properties --topic topic_name
行动-ssl.properties.属性-
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="action" passwo
浏览 3提问于2020-09-16得票数 0
1回答
启动Kafka流应用程序时，将使用以下jaas文件。但是，流应用程序不会自动更新票证。在票证过期后，除下面的例外情况外，它将失败。我们应该如何保持Kerberos票证自动更新？
KafkaClient {
com.sun.security.auth.module.Krb5LoginModule required
doNotPrompt=true
useTicketCache=true
principal="astvy@DEV.ACM.COM"
useKeyTab=true
serviceName="kafka"
keyTab="/home/astvy/a
浏览 0提问于2018-09-10得票数 0
2回答
卡夫卡消费者继续打印错误信息。
我使用5台机器(kafka版本2.3.0)构建了一个集群( kafka version 2.3.0)，它的分区为0，数据副本为3。当我使用kafka-客户端api时，我继续输出异常:在分区测试中，偏移提交失败-0，偏移量1:请求超时。但是这个主题读和写消息是可以的。
消费者配置：
Auto.commit.interval.ms = 5000
Auto.offset.reset = latest
Bootstrap.servers = [qs-kfk-01:9092, qs-kfk-02:9092, qs-kfk-03:9092, qs-kfk-04:9092,
浏览 10提问于2019-11-03得票数 1
1回答
我是码头公司的新人，也是阿帕奇·卡夫卡。我想要做的是在java中创建一个使用者和生产者类。我设立了spotify/kafka，这是一个卡夫卡集装箱码头。但出了点问题。
我找不到任何生产者消费者的例子(如果你有一个请分享)的码头卡夫卡集装箱，所以我只是试着做它是一个正常的卡夫卡(我的意思不是作为一个码头集装箱，我想没有什么不同的用法)。我尝试了这个代码(我也试着联系这个家伙，但是我无法实现，所以我在这里请求帮助)：但是当我给生产者终端写一些东西时，生产者终端中什么也没有出现。我的操作系统是16.04。以下是我所做的：
我通过输入以下内容启动了停靠卡夫卡容器：
docker run -it spo
浏览 1提问于2018-02-25得票数 1
回答已采纳
我有一个项目，我已经升级到了最新版本的spring和spring，并注意到了一些意想不到的行为。
弹簧-引导: 2.5.2弹簧-云2020.0.3
同样值得注意的是，我降低了spring-kaka的评级，因为发布了
<dependency>
<groupId>org.springframework.kafka</groupId>
<artifactId>spring-kafka</artifactId>
<version>2.6.7</version>
</dependency>
我打开
浏览 0提问于2021-07-09得票数 0
回答已采纳
1回答
我试图从火花流到安全的kafka代理(使用SASL明文机制)。我使用的是火花流- kafka -0-8版本，im使用kafka broker版本0.10.2。
我得到的问题是，当火花放电流卡夫卡没有返回任何输出。
我的问题是：
如何正确认证从火花流到安全的sasl普通卡夫卡？
或者火花放电是否支持认证到安全的萨塞尔平原卡夫卡？我很好奇，电火花只支持火花流-卡夫卡-0-8。因为在该版本中，最初对火花流-Kafka0-8的支持是kafka broker版本0.8.2，因为版本0.9支持kafka身份验证。
补充：
我可以使用控制台工具发布和订阅，因为我将用户的acls设置为我想
浏览 3提问于2017-07-07得票数 1
我在我的log4j.properties中添加了一个log4j kafka附加器，但它并没有像我预期的那样工作。
在我发布这个问题之前，我检查了我的基于的log4j.properties，它大约是0.8。然而，我不是幸运。
这是我的log4j.properties
log4j.appender.Kafka=org.apache.kafka.log4jappender.KafkaLog4jAppender
log4j.appender.Kafka.topic=my-topic
log4j.appender.Kafka.brokerList=localhost:9092
log4j.appende
浏览 8提问于2016-02-25得票数 5
我试图在蜂窝化环境中的kafka流上创建一个外部表。在尝试从外部KAFKA流表运行一个简单的SELECT *时，我遇到了几个问题。在我的CREATE查询中的tblproperties中需要哪些字段？
我现在拥有的是：
kafka.bootstrap.serverskafka.topickafka.consumer.sasl.kerberos.service.namekafka.consumer.sasl.mechanismkafka.consumer.sasl.mechanism.inter.broker.protocolkafka.consumer.sasl_ssl.gssapi.sasl.
浏览 0提问于2019-10-28得票数 0
2回答
卡夫卡偏移量不递增
、、、
我在Spring：中使用卡夫卡。
卡夫卡制作人级：
@Service
public class MyKafkaProducer {
@Autowired
private KafkaTemplate<String, String> kafkaTemplate;
private static Logger LOGGER = LoggerFactory.getLogger(NotificationDispatcherSender.class);
// Send Message
public void sendMessage(String to
浏览 3提问于2017-10-23得票数 1
1回答
我没有使用kafkaConsumer程序中的偏移量按顺序获得所有的kafka消息，但是当手动检查kafka消息时，会发现存在一系列偏移量。有人可以建议，因为我只是一个初学者在这个领域的apache kafka？我使用的是kafka消费者的默认配置： ConsumerConfig values:
allow.auto.create.topics = true
auto.commit.interval.ms = 5000
auto.offset.reset = latest
bootstrap.servers = [<host>:9092]
浏览 23提问于2021-08-16得票数 0
我正在使用kafka/confluent (3.2.0)来检索我们已有的Mongodb实例上的更改。
源进程由使用source Connect Api的管理，并使用扩展Confluent Connect docker镜像的Mesos (DC/OS)部署在我们的系统上。Kafka本身使用框架版本部署在相同的DC/OS上。
由于我们有一些大于默认大小的消息，我已经更改了这些kafka安装参数：
·replica.fetch.max.bytes
·message.max.bytes
两者均为4MB。
然后我使用下面的代码启动Connector Docker镜像
docker run -d --rm
浏览 0提问于2017-10-09得票数 3
1回答
我刚刚开始玩的Kafka绑定器。
我配置了一个简单的使用者：
@Configuration
@Slf4j
public class KafkaConsumerConfig {
@Bean
public Consumer<Event> eventConsumer() {
return event -> log.info("Received Event : " + event);
}
}
但是，当我启动应用程序时，我看到我是在启动日志中创建的三个独立的ConsumerCon图：
18:21:13.037 [INFO ] o
浏览 2提问于2021-09-23得票数 0
回答已采纳
我正在尝试设置Kafka Connect，目的是运行ElasticsearchSinkConnector。
Kafka设置，由3个代理组成，使用Kerberos、SSL和ACL进行安全保护。
到目前为止，我已经尝试在本地使用docker/docker-compose (Confluent docker-image 5.4 with Kafka 2.4)连接到远程kafka-installation (Kafka 2.0.1 -实际上是我们的生产环境)来运行connect-framework和using server server。
KAFKA_OPTS: -Djava.security.krb
浏览 0提问于2020-04-06得票数 8
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
腾讯云开发者
