kafka报org.apache.kafka.common.errors.RecordTooLargeException

    kakfa报错如下: 

java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.RecordTooLargeException: The message is 12792083 bytes when serialized which is larger than the maximum request size you have configured with the max.request.size configuration.

    原因是发送的消息过大,大于默认配置。其源码如下:

ProducerConfig.java

 .define(MAX_REQUEST_SIZE_CONFIG,
  Type.INT,
  1 * 1024 * 1024,
  atLeast(0),
  Importance.MEDIUM,
  MAX_REQUEST_SIZE_DOC)

可以看到默认是1M,只需要在配置kafka连接时,加入配置max.request.size即可,如下:

properties.put("bootstrap.servers", "172.16.40.4:9092");
properties.put("acks", "1");
properties.put("retries", 0);
properties.put("batch.size", 16384);
properties.put("linger.ms", 1);
properties.put("max.request.size", 12695150);
properties.put("buffer.memory", 33554432);
properties.put("key.serializer", "org.apache.kafka.common.serialization.ByteArraySerializer");
properties.put("value.serializer", "org.apache.kafka.common.serialization.ByteArraySerializer");

    但是需要注意的是,在这里配置的值应该小于服务端配置的最大值,否则报如下错误

org.apache.kafka.common.errors.RecordTooLargeException: The request included a message larger than the max message size the server will accept.

    如果要修改服务端配置,则需要修改两个地方,首先是server.properties,加入

message.max.bytes=12695150

   然后是producer.properties,加入

max.request.size=12695150

   同时,消费端也要配置属性max.partition.fetch.bytes以接收大数据。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏pangguoming

CentOS 6 使用 yum 安装MongoDB及服务器端配置

安装MongoDB的方法有很多种,可以源代码安装,在Centos也可以用yum源安装的方法。由于MongoDB更新得比较快,我比较喜欢用yum源安装的方法。64...

4407
来自专栏JAVA同学会

Zuul 网关路由

路由是微服务架构中不可或缺的一部分,例如:/api/user映射到user服务,/api/shop映射到shop服务。

3464
来自专栏大魏分享(微信公众号:david-share)

Oracle11g RAC双NFS仲裁容错方案

说明: 整理文档时发现自己在2010年写的一个RAC容灾方案,觉得有一些用,分享出来。当时为了验证此方案,做了很多PoC。方案相对比较复杂,但是也提供了一种思路...

5149
来自专栏友弟技术工作室

Mac开发环境配置之HomeBrew

如果你使用惯了linux,你会对软件包管理、命令行不能自拔。由于mac的底层是类unix系统,也可以配置向linux一样好用。 ? 安装HomeBrew /us...

3637
来自专栏calvin

jira webhook 事件触发并程序代码调用jenkins接口触发构建操作

开发管理工具触发站点构建事件,事件处理中需要调用Jenkins接口开始构建动作。 我的应用场景: 使用jira作为管理工具,在jira中创建自定义的工作流来...

6263
来自专栏Java进阶架构师

精选提高开发效率的15个idea插件

最近大部分开发IDE工具都切换到了,所以也花了点心思去找了相关的插件。这里整理的适合各种语言开发的通用插件,也排除掉IntelliJ IDEA自带的常用插件了(...

1.6K3
来自专栏云知识学习

Windows Server 2008 用户管理

”用户”是计算机的使用者在计算机系统中的身份映射,不同的用户身份拥有不同的权限,每个用户包含一个名称和一个密码;

42812
来自专栏草根专栏

用ASP.NET Core 2.1 建立规范的 REST API -- 保护API和其它

http://www.cnblogs.com/cgzl/p/9010978.html

1402
来自专栏数据和云

一个空格引发的血案

系统运维从来就是一个精细化的工作,除了规则与规范的约束之外,运维人员的严谨、谨慎也必不可少,有时候一个简单的错误就会导致一场灾难,小到一个字符,一个空格。 本文...

36011
来自专栏软件

经验分享 Burpsuite插件的使用

Burp插件的使用 使用准备 Burpsuite可以使用三种语言编写的扩展插件,Java、Python和Ruby。除Java外,其它两种需要的扩展插件需要配置运...

4437

扫码关注云+社区

领取腾讯云代金券