专栏首页杂烩kafka报org.apache.kafka.common.errors.RecordTooLargeException

kafka报org.apache.kafka.common.errors.RecordTooLargeException

    kakfa报错如下: 

java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.RecordTooLargeException: The message is 12792083 bytes when serialized which is larger than the maximum request size you have configured with the max.request.size configuration.

    原因是发送的消息过大,大于默认配置。其源码如下:

ProducerConfig.java

 .define(MAX_REQUEST_SIZE_CONFIG,
  Type.INT,
  1 * 1024 * 1024,
  atLeast(0),
  Importance.MEDIUM,
  MAX_REQUEST_SIZE_DOC)

可以看到默认是1M,只需要在配置kafka连接时,加入配置max.request.size即可,如下:

properties.put("bootstrap.servers", "172.16.40.4:9092");
properties.put("acks", "1");
properties.put("retries", 0);
properties.put("batch.size", 16384);
properties.put("linger.ms", 1);
properties.put("max.request.size", 12695150);
properties.put("buffer.memory", 33554432);
properties.put("key.serializer", "org.apache.kafka.common.serialization.ByteArraySerializer");
properties.put("value.serializer", "org.apache.kafka.common.serialization.ByteArraySerializer");

    但是需要注意的是,在这里配置的值应该小于服务端配置的最大值,否则报如下错误

org.apache.kafka.common.errors.RecordTooLargeException: The request included a message larger than the max message size the server will accept.

    如果要修改服务端配置,则需要修改两个地方,首先是server.properties,加入

message.max.bytes=12695150

   然后是producer.properties,加入

max.request.size=12695150

   同时,消费端也要配置属性max.partition.fetch.bytes以接收大数据。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • centos6安装rrdtool失败 原

    尚浩宇
  • 分布式服务框架之Dubbo简介 原

    随着互联网的发展,网站应用的规模不断扩大,常规的垂直应用架构已无法应对,分布式服务架构以及流动计算架构势在必行,亟需一个治理系统确保架构有条不紊的演进。

    尚浩宇
  • Java-ThreadPoolExecutor类

            handler:提交线程数量大于maximumPoolSize时的处理器

    尚浩宇
  • 聊聊springboot2的httptrace

    spring-boot-actuator-autoconfigure-2.0.1.RELEASE-sources.jar!/org/springframewor...

    codecraft
  • 如何自动生成文本摘要

    学习资料: https://www.youtube.com/watch?v=ogrJaOIuBx4&list=PL2-dafEMk2A7YdKv4XfKpfb...

    杨熹
  • 一起学Excel专业开发21:Excel工时报表与分析系统开发(3)——自定义用户界面

    一起学Excel专业开发20:Excel工时报表与分析系统开发(3)——自定义用户界面

    fanjy
  • 经典面试题-Overload 和Override 的区别。Overloaded 的方法是否可以改变返回值的类型

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明...

    cwl_java
  • think-cell chart 软件简介

    今天跟大家简单介绍下昨天文末提到的think-cell chart 。 该软件是德国的阿诺Schödl博士设计并研发的,阿诺博士曾就职于微软研究院和麦肯锡公司。...

    数据小磨坊
  • 智享生活:2016科技周,镁客网黑科技大受好评

    镁客网
  • leetcode-54-螺旋矩阵

    给定一个包含 m x n 个元素的矩阵(m 行, n 列),请按照顺时针螺旋顺序,返回矩阵中的所有元素。

    chenjx85

扫码关注云+社区

领取腾讯云代金券