如何通过CM将CDSW从1.3升级至1.4

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。

Fayson的github: https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1.文档编写目的


随着CDSW新版本的发布也提供了更多的新功能,具体参考Fayson前面文章《CDSW1.4的新功能》,本篇文章Fayson主要介绍如何通过Cloudera Manager升级CDSW至1.4版本。

  • 内容概述

1.升级准备

2.配置CDSW1.4的Parcel库及激活

3.功能验证及总结

  • 测试环境说明

1.CM和CDH版本为5.15

2.CDSW版本为1.3

3.集群未启用Kerberos

4.RedHat7.4

2.升级准备


1.准备CDSW最新的Parcel安装包

http://archive.cloudera.com/cdsw/1/parcels/1.4.0/CDSW-1.4.0.p1.431664-el7.parcel
http://archive.cloudera.com/cdsw/1/parcels/1.4.0/CDSW-1.4.0.p1.431664-el7.parcel.sha
http://archive.cloudera.com/cdsw/1/parcels/1.4.0/manifest.json

(可左右滑动)

2.将下载好的Parcel包部署在本地的apache服务器的/var/www/html/cdsw1.4目录下

[root@cdh05 ~]# cd /var/www/html/cdsw1.4/
[root@cdh05 cdsw1.4]# ll

(可左右滑动)

3.验证本地Parcel部署是否成功

3.CM配置CDSW1.4的Parcel库


1.使用管理员登录Cloudera Manager,进入Pacel主界面

2.点击“配置”,将cdsw1.4版本的本地Parcel库地址配置到列表中

3.保存更改后回到Parcel界面查看加载在的CDSW1.4版本

4.点击“下载”,将cdsw1.4版本下载并分发

完成下载

5.点击“分配”,完成CDSW安装包分发

如上步骤完成了CDSW1.4 Parcel的分配

4.CDSW1.4激活


在前面的步骤已完成了CDSW1.4版本安装包的分发,在激活之前先收集下CDSW平台的基本信息及做简单备份。

1.使用管理员登录CDSW平台用户信息查看及备份

通过“Export Users List”功能将平台的用户导出备份。

2.查看当前用户创建的工程

fayson用户下也有创建相应的工程

以上步骤做了CDSW平台上用户及工程的简单记录,确保在CDSW平台升级后,工程依然存在。

3.登录Cloudera Manager对CDSW1.4版本进行激活

4.点击“确定”,进行激活并重启CDSW服务,等待命令执行成功

如下截图显示已激活成功

5.进入CDSW服务界面显示角色启动异常

6.查看启动日志发现有如下异常

“ERROR:: Dependency packages [socat.x86_64] are not installed. Please run prepare node step.: 1”

(可左右滑动)

7.停止CDSW服务,进行如下操作

服务停止成功后,在操作下选择“Prepare Node”执行

命令执行成功

8.通过CM启动CDSW服务

执行完启动命令后,需要等待一段时间,等待CDSW服务中各个模块正常提供服务。

9.CDSW服务启动成功界面显示如下:

同样也可以在CDSW服务器上使用cdsw status命令查看

5.CDSW验证


验证CDSW服务的可用性以及升级后平台的账号、配置、工程信息未丢失

1.使用管理员账号登录CDSW服务,进入主页面

可用看到升级后多了Experiments和Models功能,在后面的文章Fayson会介绍这两个功能的详细使用。

2.查看CDSW用户与升级前用户一致

3.Project工程存在

admin用户下的test工程存在,与升级前一致

fayson用户下的fayson-project工程与升级前一致

4.打开fayson-project工程的Workbench

图中显示有新的engine可以使用,点击“Update Version”可以更新到最新的engine使用,相应的还多了一个“Run Experiments”功能。

6.总结


1.本篇文章Fayson将CDSW1.3版本升级至1.4,需要准备CDSW1.4的Parcel包,通过CM将Parcel包分发激活,使CDSW使用最新版本启动并提供服务。

2.在升级的过程中遇到CDSW服务启动失败,是由于新版本的CDSW需要安装OS的依赖包,可以通过“Prepare Node”功能来准备CDSW的服务所需要依赖环境(如:配置、依赖包等)。

3.升级前后不会导致CDSW平台的工程、用户以及配置等信息丢失。

4.CDSW1.4版本后对服务器的要求更高一些,Fayson的服务器是4核16G的服务器,升级后不能打开Session,提示“Unschedulable: No nodes are available that match all of the predicates: Insufficient cpu (1)”

5.对于生产环境的CDSW升级,在升级前有必要通知所有使用用户将自己的工程做相应的备份。

提示:代码块部分可以左右滑动查看噢

为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2018-08-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏张泽旭的专栏

【腾讯云的1001种玩法】hadoop 伪分布式搭建

Hadoop实现了一个分布式文件系统(简称HDFS)。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high...

1.7K0
来自专栏FreeBuf

一次与缓冲区溢出的亲密接触

这是一个简单的缓冲区溢出的漏洞,今天没事,来分析一下看看他溢出的原因,最后通过平衡堆栈的方式,让目标程序执行shellcode使程序不crash。只是用来研究和...

1320
来自专栏小樱的经验随笔

使用Windows Server 2003搭建一个asp+access网站

鼠标右键->新建->网站->下一步->描述(随便给一个,这里我以test为例) ->下一步->下一步->输入主目录的路径,默认路径下是C:\Inetpub\ww...

4125
来自专栏散尽浮华

Linux操作系统启动流程梳理

接触linux系统运维已经好几年了,常常被问到linux系统启动流程问题,刚好今天有空来梳理下这个过程: 一般来说,所有的操作系统的启动流程基本就是: ? 总的...

2788
来自专栏我是攻城师

Apache Phoenix安装使用

4297
来自专栏前端开发

Jenkins配合github实现前端项目自动化构建部署

大家以前写前端项目部署,可能都是手动运行命令,打包完,然后压缩,再利用FTP、Xshell等这类的工具上传到服务器解压。也或者你不会操作,你认为这些事情是运维做...

2493
来自专栏liuchengxu

使用 Shell 脚本进行 Hadoop Spark 集群的批量安装

虽然有一些自动化安装的工具,但是功能越多,越专业的工具,可能也需要越高的学习成本,而我们并非专业运维,但是又必须做这些事情的话,不妨选择用 Shell 脚本来完...

1151
来自专栏狂码一生

CentOS-7下搭建配置SVN服务器

1、安装svn:     >yum -y install subversion     //svn默认安装目录:/bin/svnserve 2、查看svn版本...

42415
来自专栏SpringBoot 核心技术

SpringCloud组件:Eureka服务注册是采用主机名还是IP地址?

我们一直在使用Eureka进行注册服务,然而你有可能很少关心服务在注册到Eureka Server时是采用的主机名的方式?还是IP地址的方式?

2161
来自专栏世界第一语言是java

ELK+logback+kafka+nginx 搭建分布式日志分析平台

ELK(Elasticsearch , Logstash, Kibana)是一套开源的日志收集、存储和分析软件组合。而且不只是java能用,其他的开发语言也可以...

3552

扫码关注云+社区

领取腾讯云代金券