Spark history server fails to render compressed inprogress history file in some

Spark history server fails to render compressed inprogress history file in some cases

1 Overview

我们目前生产环境，包括 Spark History Server 用的都是 Spark 2.2.0 的 Fork 版本，所以社区有些基于 2.2.0 甚至之前版本的 Fix 是没有合并进来的。近期在看 Spark History Server 的时候，偶尔会发现无法访问。

2 复盘

检查 Spark History Server 的日志，发现如下错误信息。

Spark history server fails to render compressed inprogress history file in some cases，最后发现这是一个 Spark JIRA 上提到过的问题。

在这里插入图片描述

可惜的是，修复的代码是在 2.2.1 以后的版本了，但是我们的 History Server 是基于 Spark 2.2.0 的，显然代码里没有包含修复的逻辑。

3 Fix

解决的办法就是升级 Spark History Server 的版本。基于 Spark 2.3.0 重新构建一个镜像就可以了。