kylin 2.3.1提示NoClassDefFoundError: net/jpountz/lz4/LZ4Exception

skyyws

发布于 2022-05-20 08:18:44

3950

发布于 2022-05-20 08:18:44

文章被收录于专栏：skyyws的技术专栏

目前，在使用社区版的kylin-2.3.1版本时，streaming cube在第一步就报错了，通过查看MR的错误日志，发现应该是缺少了lz4相关的包导致的。相关的错误堆栈如下所示：

通过错误日志分析，应该是缺少lz4相关包导致的，我们登陆kylin的部署服务器，查看kafka部署的客户端路径下，发现有lz4相关的包：

因此，猜测是相关的包，在执行MR任务的时候，没有提交到yarn上。因此，我们将libs/lz4-1.3.0.jar上传到$KYLIN_HOME/conf/kylin.properties中kylin.engine.mr.lib-dir配置项所指定的HDFS路径上，然后重启job服务器，问题解决。

注：kylin.engine.mr.lib-dir指定的HDFS路径中，包括了执行MR/Spark任务所需要的一些依赖jar，我们环境的路径下，目前包含了如下的这些jar：