blocks|key|4362649|text|您可以使用脚本/bin/kafka-log-dirs.sh查看分区大小|type|unstyled|depth|inlineStyleRanges|entityRanges|data|4362650|/bin/kafka-log-dirs.sh+--describe+--bootstrap-server+<KafakBrokerHost>:<KafakBrokerPort>+--topic-list+<YourTopic>|code-block|syntax|javascript|4362651|entityMap^0|0|0^^$0|@$1|2|3|4|5|6|7|I|8|@]|9|@]|A|$]]|$1|B|3|C|5|D|7|J|8|@]|9|@]|A|$E|F]]|$1|G|3|-4|5|6|7|K|8|@]|9|@]|A|$]]]|H|$]]

You can see the partition size using the script /bin/kafka-log-dirs.sh
<pre><code>/bin/kafka-log-dirs.sh --describe --bootstrap-server &lt;KafakBrokerHost&gt;:&lt;KafakBrokerPort&gt; --topic-list &lt;YourTopic&gt;
</code></pre>

blocks|key|5779367|text|正如Martbob非常有帮助地提到的，您可以使用kafka-log-dirs来完成此操作。这将生成JSON输出(在其中一行上)。因此，我可以使用非常有用的jq工具来拉出'size‘字段(有些是空的)，只选择那些是数字的字段，将它们分组到一个数组中，然后将它们相加在一起。|type|unstyled|depth|inlineStyleRanges|offset|length|style|CODE|entityRanges|data|5779368|kafka-log-dirs+\
++++--bootstrap-server+127.0.0.1:9092+\
++++--topic-list+'topic_of_interest'+\
++++--describe+\
++%7C+grep+'%5E{'+\
++%7C+jq+'[+..%7C.size?+%7C+numbers+]+%7C+add'|code-block|syntax|javascript|5779369|示例输出:+67704|5779370|我还没有验证输出是否有意义，所以您应该自己检查一下。|5779371|entityMap^0|25|2|0|0|0|0^^$0|@$1|2|3|4|5|6|7|Q|8|@$9|R|A|S|B|C]]|D|@]|E|$]]|$1|F|3|G|5|H|7|T|8|@]|D|@]|E|$I|J]]|$1|K|3|L|5|6|7|U|8|@]|D|@]|E|$]]|$1|M|3|N|5|6|7|V|8|@]|D|@]|E|$]]|$1|O|3|-4|5|6|7|W|8|@]|D|@]|E|$]]]|P|$]]

As Martbob very helpfully mentioned, you can do this using kafka-log-dirs. This produces JSON output (on one of the lines). So I can use the ever-so-useful <code>jq</code> tool to pull out the 'size' fields (some are null), select only the ones that are numbers, group them into an array, and then add them together.
<pre><code>kafka-log-dirs \
 --bootstrap-server 127.0.0.1:9092 \
 --topic-list 'topic_of_interest' \
 --describe \
 | grep '^{' \
 | jq '[ ..|.size? | numbers ] | add'
</code></pre>
Example output: 67704
I haven't verified if the output makes sense, so you should check that yourself.

blocks|key|1743539|text|对正则表达式和awk执行相同操作的另一种方法(如果您没有安装jq+)是：|type|unstyled|depth|inlineStyleRanges|entityRanges|data|1743540|$+bin/kafka-log-dirs.sh+\
++--bootstrap-server+127.0.0.1:9092+\
++--topic-list+test+\
++--describe+\
++%7C+grep+-oP+'(?<=size":)\d%2B'++\
++%7C+awk+'{+sum+%2B=+$1+}+END+{+print+sum+}'|code-block|syntax|javascript|1743541|这将返回包括其副本在内的主题test的大小(以字节为单位)。如果您有一个大于1的复制因子，并且您想要唯一主题消息的大小，请将您获得的值除以复制因子。|offset|length|style|CODE|1743542|entityMap^0|0|0|E|4|0^^$0|@$1|2|3|4|5|6|7|O|8|@]|9|@]|A|$]]|$1|B|3|C|5|D|7|P|8|@]|9|@]|A|$E|F]]|$1|G|3|H|5|6|7|Q|8|@$I|R|J|S|K|L]]|9|@]|A|$]]|$1|M|3|-4|5|6|7|T|8|@]|9|@]|A|$]]]|N|$]]

Another way of doing the same with regular expression and awk (in case you dont have jq installed) is:
<pre><code>$ bin/kafka-log-dirs.sh \
 --bootstrap-server 127.0.0.1:9092 \
 --topic-list test \
 --describe \
 | grep -oP '(?&lt;=size&quot;:)\d+' \
 | awk '{ sum += $1 } END { print sum }'
</code></pre>
This returns the size (in bytes) of the topic <code>test</code> including its replications. In case you have a replication factor greater than 1 and you want the size of the unique topic message, divide the value you get with the replication factor.

blocks|key|1743526|text|也许这需要一些额外的工作来安装和配置，但是KafkaHQ有关于主题和分区大小的信息，以消息和字节的形式给出。这里链接到：KafkaHQ|type|unstyled|depth|inlineStyleRanges|entityRanges|offset|length|data|1743527|这仍然是我找到的获取这些信息的最简单的选择。|1743528|entityMap|0|LINK|mutability|MUTABLE|url|https://github.com/tchiotludo/kafkahq^0|1O|7|0|0|0^^$0|@$1|2|3|4|5|6|7|N|8|@]|9|@$A|O|B|P|1|Q]]|C|$]]|$1|D|3|E|5|6|7|R|8|@]|9|@]|C|$]]|$1|F|3|-4|5|6|7|S|8|@]|9|@]|C|$]]]|G|$H|$5|I|J|K|C|$L|M]]]]

Maybe that requires some extra work to install and configure, but KafkaHQ has information about topic and partitions size given in messages and bytes. Here link to: <a href="https://github.com/tchiotludo/kafkahq" rel="nofollow noreferrer">KafkaHQ</a>

That is still the simplest option that I found to get that informations.

blocks|key|5779509|text|对于希望获得可读格式的输出和所有主题的列表的人，这里是：|type|unstyled|depth|inlineStyleRanges|entityRanges|data|5779510|bin/kafka-topics.sh+--bootstrap-server+127.0.0.1:9092+--list+\
++%7C+xargs+-I{}+sh+-c+\+
++"echo+-n+'{}+->+'+&&+bin/kafka-log-dirs.sh+--bootstrap-server+127.0.0.1:9092+--topic-list+{}+--describe+%7C+grep+'%5E{'+++%7C+jq+'[+..%7C.size?+%7C+numbers+]+%7C+add'+%7C+numfmt+--to+iec+--format+'%258.4f'"+\
++%7C+tee+/tmp/topics-by-size.list|code-block|syntax|javascript|5779511|这将：|5779512|List+all+topics+in+Kafka
Pass+through+`xargs`+that+will+execute+a+command+per+topic
Get+all+logs+sizes+per+topic
++sum+each+of+the+logs
++pass+through+`numfmt`+to+make+it+human+readable
save+to+a+file+while+printing+to+stdout|5779513|我希望这能帮助那些想要复制和粘贴命令的人。|5779514|entityMap^0|0|0|0|0|0^^$0|@$1|2|3|4|5|6|7|O|8|@]|9|@]|A|$]]|$1|B|3|C|5|D|7|P|8|@]|9|@]|A|$E|F]]|$1|G|3|H|5|6|7|Q|8|@]|9|@]|A|$]]|$1|I|3|J|5|D|7|R|8|@]|9|@]|A|$E|F]]|$1|K|3|L|5|6|7|S|8|@]|9|@]|A|$]]|$1|M|3|-4|5|6|7|T|8|@]|9|@]|A|$]]]|N|$]]

For people looking to have the output in readable format and a list for all topics, here it is:
<pre><code>bin/kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --list \
 | xargs -I{} sh -c \ 
 &quot;echo -n '{} -&gt; ' &amp;&amp; bin/kafka-log-dirs.sh --bootstrap-server 127.0.0.1:9092 --topic-list {} --describe | grep '^{' | jq '[ ..|.size? | numbers ] | add' | numfmt --to iec --format '%8.4f'&quot; \
 | tee /tmp/topics-by-size.list
</code></pre>
This will:
<pre><code>List all topics in Kafka
Pass through `xargs` that will execute a command per topic
Get all logs sizes per topic
 sum each of the logs
 pass through `numfmt` to make it human readable
save to a file while printing to stdout
</code></pre>
I hope this helps people who wanted a copy and paste command.

blocks|key|2250892|text|如果您在docker容器(wurstmeister/+kafka+)中运行kafka，并且您将获得|type|unstyled|depth|inlineStyleRanges|entityRanges|data|2250893|+Error:+JMX+connector+server+communication+error:+service:jmx:rmi+...
+sun.management.AgentConfigurationError:+java.rmi.server.ExportException:+Port+already+in+use:+6099;+nested+exception+is:
+++java.net.BindException:+Address+in+use+(Bind+failed)|code-block|syntax|javascript|2250894|在运行shell脚本之前，您需要取消设置JMX_PORT。|offset|length|style|CODE|2250895|(unset+JMX_PORT;+./kafka-log-dirs.sh+\+
++++++--bootstrap-server+127.0.0.1:9092+--topic-list+test+--describe)|2250896|entityMap^0|0|0|K|8|0|0^^$0|@$1|2|3|4|5|6|7|Q|8|@]|9|@]|A|$]]|$1|B|3|C|5|D|7|R|8|@]|9|@]|A|$E|F]]|$1|G|3|H|5|6|7|S|8|@$I|T|J|U|K|L]]|9|@]|A|$]]|$1|M|3|N|5|D|7|V|8|@]|9|@]|A|$E|F]]|$1|O|3|-4|5|6|7|W|8|@]|9|@]|A|$]]]|P|$]]

If you are running kafka in a docker container (wurstmeister/kafka) and you are getting
<pre><code> Error: JMX connector server communication error: service:jmx:rmi ...
 sun.management.AgentConfigurationError: java.rmi.server.ExportException: Port already in use: 6099; nested exception is:
 java.net.BindException: Address in use (Bind failed)
</code></pre>
You need to unset the <code>JMX_PORT</code> before you run the shell script.
<pre><code>(unset JMX_PORT; ./kafka-log-dirs.sh \ 
 --bootstrap-server 127.0.0.1:9092 --topic-list test --describe)
</code></pre>

For Metrics we meed to see the total size of a Kafka Topic in bytes across all partitions and brokers. 

I have been searching for quite a while on how to do this and I haven't worked out if this is possible and how to do it.

We are on V0.82 of Kafka.

See size of Kafka Topics in Bytes

翻译质量差，导致语言生硬或混乱。

没有提供实际的解决方法或示例。

解答不清晰，无法理解或解决问题。

页面排版不美观，阅读体验差。

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

对于指标，我们需要查看所有分区和代理上的Kafka主题的总大小(以字节为单位)。我已经研究了很长一段时间，关于如何做到这一点，我还没有弄清楚这是否可能以及如何做到。我们在Kafka的V0.82上。

问查看Kafka主题的大小(以字节为单位
EN

回答 6

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问查看Kafka主题的大小(以字节为单位EN

回答 6

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问查看Kafka主题的大小(以字节为单位
EN