0774-5.16.1-如何将CDSW从1.6升级到1.7

文档编写目的

目前CDSW的最新版本是1.7.1，此版本仅支持从1.5.x和1.6.x升级，其他更低的版本需要先升级到1.5.x或1.6.x，然后再升级到1.7.1。本文档将介绍如何基于CDH5.16.1将CDSW从1.6升级到1.7.1。

• 测试环境：

1.Redhat7.2

2.采用root用户操作

3.CM和CDH的版本为5.16.1

4.CDSW当前版本为1.6

升级前准备

1.在CM上停止CDSW服务

2.备份CDSW的Master节点上的/var/lib/cdsw目录

[root@cdsw1 cdsw_bak]# tar cvzf cdsw.tar.gz /var/lib/cdsw/*

升级过程

1.在PARCEL界面停用CDSW1.6的parcel包

2.下载CDSW1.7的CSD文件并替换掉原来的CSD文件，下载地址如下

https://archive.cloudera.com/cdsw1/1.7.1/csd/CLOUDERA_DATA_SCIENCE_WORKBENCH-CDH5-1.7.1.jar

重启cloudera-scm-server服务

[root@cdh4 ~]# systemctl restart cloudera-scm-server

CM重启完成后，进入CM页面，并重启CMS

3.准备CDSW1.7的Parcel包，下载地址如下：

https://archive.cloudera.com/cdsw1/1.7.1/parcels/CDSW-1.7.1.p1.1850946-el7.parcel
https://archive.cloudera.com/cdsw1/1.7.1/parcels/CDSW-1.7.1.p1.1850946-el7.parcel.sha
https://archive.cloudera.com/cdsw1/1.7.1/parcels/manifest.json

查看下载好的parcel包

使用管理员登录Cloudera Manager，进入Parcel主界面，点击“配置”，将cdsw1.7的Parcel包地址配置到列表中，保存更改

然后在Parcel页面，对CDSW1.7.1下载，分发，激活。

4.通过CM进入CDSW服务，进入“实例”页面，全选三个角色。点击“已选定的操作”->“Prepare Node”

准备完成。重启CDSW

启动完成。

登陆CDSW，查看版本，可以看到已经更新成功

新功能测试

4.1 Analytical Applications

此功能使数据科学家可以创建Web应用程序/仪表板，并轻松与其他业务相关者共享它们。应用程序的范围从嵌入的单个可视化到丰富的仪表板解决方案（例如Tableau）。它们可以是交互式的或非交互式的。

应用程序与CDSW中现有的工作负载并列，需要在项目范围内创建应用程序，每个应用程序都在自己的隔离引擎中启动，与模型一样，为应用程序启动的引擎不会自动超时。

下面会介绍如何在项目中创建应用程序，在创建之前，确保应用程序已经经过了测试。

创建步骤如下：

1.进入项目的“概述”页面

2.点击“应用”进入应用页面

3.点击“新建应用程序按钮”

4.填入应用的相关信息，参数介绍如下：

点击“创建应用程序”按钮创建应用，创建完成后应用会自动运行。

4.2 使用Grafana监控CDSW

CDSW使用Prometheus和Grafana提供了一个仪表板，使您可以监视CDSW如何消耗CPU，内存，存储和其他资源。

下面介绍如何查看Grafana仪表盘：

1.使用管理员登陆CDSW，然后点击“管理”>“概述”，点击链接进入Grafana

2.通过链接进入Grafana仪表盘页面如下：

3.查看CDSW提供的仪表板

CDSW默认提供了三个仪表盘，分别是K8s 集群、K8s 容器和K8s 节点，可以根据需求扩展这些仪表板以及为其他指标创建更多的仪表板。

K8s集群提供的指标如下：

Node，Pod和Container概述、CPU容量使用率、内存容量使用情况、pod容量使用、磁盘容量使用

K8s容器提供的指标如下：

每个Pod的内存使用量、每个Pod的CPU使用率、每个Pod读/写IOPS

K8s节点提供的指标如下：

每个节点的CPU使用率、每个节点的内存使用率、每个节点读/写IOPS、每个节点的可用内存、每个节点的网络流量

4.3 功能覆盖标志

这是CDSW服务在CM中可用的新的功能。此功能可以用于启用/禁用实验室的功能并禁用诊断包中的使用情况度量标准收集。下面会介绍如何使用该功能。

1.进入CM服务，点击进入CDSW服务的配置页面，搜索“Feature flag overrides”如下：

2.该配置项默认是一个空的json字符串，可以将需要开启/关闭的功能在此配置，例如我现在想关闭“使用情况指标收集”功能，那么配置如下：

配置完成后保存，重启CDSW即可生效，其他功能的开启/关闭按照这样的格式填入此配置项即可。

4.4 配额

CDSW的管理员可以为每个用户启用CPU、GPU和内存使用配额。可以为每个用户设置默认的配额，或者为特定用户设置自定义的配额。默认情况下此功能未启用，要启用配额，需要参考上一章节5.3中的新功能。下面会介绍如果使用此功能。

1.进入CDSW服务的配置页面，修改“Feature flag overrides”如下：

保存配置并重启CDSW服务

2.为所有用户启用默认配额

·进入配额页面

·点击按钮开启配额

·开启配额后会将默认的2CPU、8G内存、0GPU分配给每个用户，可以对默认配额进行编辑

修改完成后点击更新按钮即可更改默认的配额设置

3.为特定用户设置自定义配额

·点击添加自定义配额

·填入相关的配置及用户名

配置完成后点击添加按钮即可添加一条自定义的配额，需要继续为其他用户添加新的配置方案重复上述步骤即可。

启用自定义配额后只会影响新的工作负载，如果用户目前已经运行的作业超过了新的配额限制，已经运行的工作计划会继续运行不会受到印象。超出限制后无法继续创建新的工作计划，而不会影响已经在运行的工作。

总结

1.新版本的CDSW仅支持从1.5.x和1.6.x升级，不支持更早的版本直接升级到1.7.1。

2.建议CDSW1.7.1部署的服务器配置高于8C/16G，否则资源不够会导致CDSW中的一些Pod无法正常启动，进而导致CDSW无法正常使用。

3.从1.6升级到1.7.1的步骤与1.5升级到1.6的步骤基本一致，在停止服务时均不会出现数据丢失的bug，可以手动停止服务再进行CDSW数据目录的备份。

4.CDSW1.7.1中加入了一些新特性，在监控方面以及资源配额方面有了新的改动，本文档中也进行了简单的介绍。