基于腾讯云大数据套件 TBDS 的 flume 异常问题排查过程

现象

长期运营中发现部署了flume集群的磁盘满,经过排查发现flume的日志目录导致。

具体问题

具体看flume的大文件日志发现,某个MySQL相关的sink持续抛出异常,打印了大量的日志

分析过程

根据这个异常信息(exception)即:

com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: No operations allowed after statement closed

字面意思为MySQL服务的状态(连接)已经关闭的状态下,仍然有提交事务操作,抛出了异常,但这个异常持续抛出,仍需要深入分析。

配置分析

既然是flume抛出的,且与MySQL有关,那缩小问题范围,查找flume里谁在写MySQL。(flume的配置一般位于/etc/flume/conf/agent/flume.conf

根据配置中唯一一条与MySQL相关的配置逻辑:读取HiveServer的日志,过滤其中的SQL语句(以Metadata collec*过滤),结果存入到sink里配置的MySQL数据表hive_run_sqlinfo。

flumeagent逻辑分析

以上sink里调用了一个com.tencent.tbds.flume.sink.MysqlSinkForMetadata的类,这是一个自定义类,我们在引用路径里找到这个类所在jar并反编译之(decompiler),基本逻辑与注释如下:

Sink初始化阶段

Sink循环执行阶段

Sink关闭阶段

关闭阶段仅仅检查连接是否存在。

可能的原因

从sink的逻辑看,只有在空连接的情况下,sink状态才会是BACKOFF,其他情况下状态都是READY,且在向MySQL提交事务前后,不会检查连接状态,即使在SQL抛出异常的情况下也没有修改sink状态,导致提交抛出异常后,sink循环执行,循环抛出异常。这里就是不断抛出异常的根本。那么连接到底是什么时候关闭的呢?这里的原因猜测有2个:(1)sink长时间与MySQL没有交互,超过连接自动关闭时间;(2)MySQL的异常关闭。

问题确认

是否sink长时间与MySQL无交互

查询MySQL的超时配置如下:

配置为默认配置28800秒即8小时。

查看HiveServer的日志,统计每小时执行SQL的数量如下:

可见,sink与MySQL之间的断开并非二者长期无交互。

是否人为断开服务

查询人为启动MySQL的时间如下:

flume的异常时间如下:(从异常提交的事务本身内容的时间看):

时间吻合。

结论:MySQL服务异常导致flume提交事务时连接中断,且flume没有处理这种异常,引发死循环提交事务,并在这种异常情况下,flume已无法正常工作。

问题重现

根据以上的推论,可进行如下验证这个异常:

HiveServer产生日志

在HUE里执行多次HiveSQL

手动强制关闭MySQL

手动重启flume写入的MySQL实例。

查看flume表现

flume进入无限循环的抛出异常状态,验证成功。

总结

这里的主要原因是MySQL服务异常导致产生的连锁反应。权宜之计可以在sink的代码中提交事务出异常时,修改下sink的状态为BACK.OFF,防止不断打印日志造成机器磁盘满影响其他服务(待验证)。

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

11 条评论
登录 后参与评论

相关文章

来自专栏Stone的专栏

如何在 CentOS 上部署 Flask

平时开发的时候,Flask 自带的 Web Server 可以满足需要,但是部署到服务器上则需要专门的符合 WSGI 协议的 Web Server。一种常见的组...

270
来自专栏性能与架构

浏览器的渲染阻塞

浏览器渲染的步骤 (1)浏览器解析HTML标记去构造DOM树(DOM = Document Object Model 文档对象模型) (2)解析CSS去构造...

3344
来自专栏我和PYTHON有个约会

Django来敲门~第一部分【5.3.后台管理模块】

神说,要有光 我们说,不喜欢命令行,要有可视化的界面管理项目信息 恭喜你:django默认就提供了一个可视化的后台管理系统,当然,要使用话,简单操作几个步骤...

552
来自专栏逸鹏说道

Ubuntu18.04下给Jupyter-NoteBook设置默认工作路径

生成配置文件:jupyter-notebook --generate-config

1044
来自专栏大大的微笑

Tomcat搭建文件服务器

①. 进入tomcat下的conf目录,找到server.xml文件,在Host标签下加入如下标签     path:表示对外映射的路径,     docBas...

2298
来自专栏瓜大三哥

HLS Lesson14-for循环优化:数据流

数据流约束可以使得原本顺序执行的多个 FOR 循环并行执行,但使用该约束是有条件限制的。本节讲述了数据流约束的使用方法和要求,重点讲述了如何通过代码层面的优化突...

1866
来自专栏梧雨北辰的开发录

Xcode报错问题总结

1. InValid Device State ? 原因:同时安装了Xcode7和Xcode8等多个版本,在交替使用的时候会出现上诉错误提示。 解决:关闭所有...

2929
来自专栏Theo Tsao

Linux磁盘和文件系统管理

671
来自专栏写代码的海盗

ubuntu 安装vagrant过程

  Ubuntu安装vagrant时需要首先安装virtualBox。  Step1:     在https://www.virtualbox.org/wik...

2785
来自专栏Java帮帮-微信公众号-技术文章全总结

03.Linux系统启动过程

03.Linux系统启动过程 Linux 系统启动过程 linux启动时我们会看到许多启动信息。 Linux系统的启动过程并不是大家想象中的那么复杂,其过程可以...

3324

扫码关注云+社区