我试图在Kubernetes中设置一个Kafka pod,但是我一直收到这个错误:
[2020-08-30 11:23:39,354] ERROR [KafkaApi-0] Number of alive brokers '0' does not meet the required replication factor '1' for the offsets topic (configured via 'offsets.topic.replication.factor'). This error can be ignored if the clu
我用single-node安装了卡夫卡。Kafka pod中有一个错误:
[WARN] 2022-04-26 14:29:47,008 [main-SendThread(zookeeper.confluent.svc.cluster.local:2181)] org.apache.zookeeper.ClientCnxn run - Session 0x0 for sever zookeeper.confluent.svc.cluster.local:2181, Closing socket connection. Attempting reconnect except it is a Ses
我一直在使用 (2.11),昨天我不得不出于某种未知的原因强制终止该进程。从那时起,我就没有因为以下错误而无法启动Zookeeper:
[2020-01-11 11:12:43,783] ERROR Unexpected exception, exiting abnormally (org.apache.zookeeper.server.ZooKeeperServerMain)
java.io.IOException: No snapshot found, but there are log entries. Something is broken!
at org.apache.zoo
因此,我在本地环境中使用在docker上设置Zookeeper。现在,我希望这个Zookeeper设置能够通过将Zookeeper数据目录作为卷挂载到我的容器中来持久化节点及其值。
这很简单,但让我困惑的是,Zookeeper在容器中的数据目录在/data,而数据日志目录在/datalog。理想情况下,除了datalog目录之外,我还希望Zookeeper持久化data文件夹中的节点和值。但是,我发现虽然datalog目录有log.*文件中的数据,但data目录没有任何与我创建的测试节点相关的数据。
bash-4.4# pwd
/datalog/version-2
bash-4.4# ls
l
我总共有10个节点。3个节点运行Zookeeper,其余7个节点运行HDFS和Hbase。而且Hbase已经存储了很多数据。我错误地初始化了Zookeeper节点的(I'm using Cloudera, by mistake clicked the Initialize Button)。我想知道这3个Zookeeper节点是否丢失了可能是Hbase mata数据的持久数据。或者说,Hbase将元数据存储在Hmaster中,而Zookeeper只存储一些内存数据。
当我尝试通过以下命令将hbase表数据导出到hdfs目录时:
$hbase org.apache.hadoop.hbase.mapreduce.Export <tablename> <export directory>
At the following line my jobs hangs.
2015-04-16 21:11:49,946 INFO [main] zookeeper.ZooKeeper: Client environment:java.library.path=/usr/lib/hadoop/lib/native
2015-04-16 21:11:
我在此宣布:
cat /etc/apt/sources.list.d/cloudera.list
# Packages for Cloudera's Distribution for Hadoop, Version 5, on Ubuntu 14.04 amd64
deb [arch=amd64] http://archive.cloudera.com/cdh5/ubuntu/trusty/amd64/cdh trusty-cdh5.3.3 contrib
deb-src http://archive.cloudera.com/cdh5/ubuntu/trusty/amd64/cdh
我做到了
docker-compose up
因为卡夫卡聚集在我的本地。
每当我想要制作主题时,检索我拥有的主题或搜索存储在我使用的主题中的数据。
docker run --net=host --rm confluentinc/cp-kafka:latest kafka-topics --describe --topic bar --zookeeper localhost:32181
这是在官方的kafka集群部署站点上。
不过,我真的很想在我当地的仓库里使用卡夫卡,而不是卡夫卡码头的形象。
kafka-topics --describe --topic bar --zookeeper loc
注意:我知道有许多类似的问题,已经看过了,但没有帮助。
我在一个封闭的环境中运行一个kafka基准测试,我给每个代理一个40 get的文件系统作为日志持久化,而且我很快就会遇到这样的情况:它崩溃了,并且没有恢复,因为那个文件系统正在被填充。
因此,为了避免生产中出现这样灾难性的故障,我尝试设置log.retention.bytes=10737418240 (10 to ),并测试它是否在达到崩溃状态之前删除日志。
📷
如图所示,卡夫卡通过10‘t后没有删除任何东西(在其他测试中,它也一直到了40,然后再次崩溃)
下面是我的整个server.properties文件:
# server sett