如何使用Cloudera Manager升级Spark2.1版本至Spark2.2

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

Fayson的github:https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1.文档编写目的

在CDH集群中spark1和Spark2版本可以共存,为了更好的体验及使用Spark新版本的API或修改已知旧版本的bug,现需要将CDH集群中Spark2的版本升级至Spark2.2最新,本篇文章主要介绍如何通过Cloudera Manager将Spark2.1版本升级至Spark2.2。

内容概述

1.升级准备

2.升级Spark版本及验证

3.总结

测试环境

1.CM和CDH版本为5.13.1

2.Spark on Yarn部署

前置条件

1.集群JAVA版本已升级至1.8

2.升级准备

1.下载Spark2.2的parcel包及csd文件,如下下载地址

csd文件下载地址:

(可左右滑动)

parcel包下载地址:

(可左右滑动)

2.部署Spark2.2的parcel包

将下载的parcel包部署在http服务的/var/www/html/spark2.2目录下

3.测试是不parcel是否部署成功

4.部署csd文件

将下载好的csd文件拷贝至/opt/cloudera/csd目录下,并修改文件属主为cloudera-scm

(可左右滑动)

注意:如果csd目录下有其它Spark版本的csd文件需要移除。

5.完成以上部署后,重启cloudera-scm-server服务

(可左右滑动)

6.使用管理员登录到Cloudera Manager的Web控制台根据提示重启Cloudera Management Service服务

3.升级Spark2.2

1.当前CDH集群中激活的Spark版本为2.1.0

安装的Spark版本为2.1.0

命令行运行确认Spark2版本

2.配置Spark2.2版本的parcel库地址

可以看到Spark的parcel中显示了2.2的版本。

3.点击下载、分配Spark2.2版本

4.点击“激活”Spark2.2的parcel包

重启成功

5.Parcel显示为已激活状态

6.配置Spark2的JAVA环境变量

保存配置,并重新部署客户端配置

至此已完成Spark2.2的升级

4.验证Spark版本

1.在命令行运行spark2-shell命令,验证Spark版本

2.运行一个Spark2的作业

(可左右滑动)

作业执行成功,查看Yarn的8088界面

5.常见问题

在命令行运行spark2-shell命令报如下异常:

(可左右滑动)

解决方式:在Spark2的配置项“客户端高级配置代码片段”中增加JAVA的环境变量且必须为1.8版本。

6.总结

升级Spark2.2版本的前提是已将CDH集群的JAVA升级到1.8版本,具体可以参考Fayson前面的文章《如何将CDH集群JAVA升级至JDK8》和《如何将Kerberos环境下CDH集群JAVA升级至JDK8》。

升级Spark2.2时需要注意CSD文件是否与parcel版本一致,且在/opt/cloudera/csd目录下只能存在一个Spark的CSD文件。

在升级到Spark2.2后需要指定JAVA的环境变量,由于集群使用的是Spark ON Yarn模式,所以文章中只需要在“客户端高级配置代码片段”中增加JAVA的环境变量。

提示:代码块部分可以左右滑动查看噢

为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180207G01D8O00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励