如何在CDH5.13中安装CDSW1.2
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。
1.文档编写目的
Cloudera前一段时间发布了CDH5.13版本，5.13的新功能可以参考前一篇文章《CDH5.13和CM5.13的新功能》，在CDH5.13版本以后支持CDSW的Parcel安装，本篇文章就主要讲述如何通过CM使用Parcel包安装CDSW。
CDSW需要DNS服务和泛域名解析，可以参考Fayson以前的文章《如何在Windows Server2008搭建DNS服务并配置泛域名解析》或《如何利用Dnsmasq构建小型集群的本地DNS服务器》或《如何在Windows Server2012搭建DNS服务并配置泛域名解析》，CDSW1.2的新功能可以参考《CDSW1.2的新功能》。
- 内容概述
1.部署CDSW parcel及安装CSD文件
2.添加CDSW节点到集群并部署Gateway角色
3.安装CDSW服务
4.测试CDSW
- 测试环境
1.CentOS7.2
2.采用root用户操作
3.CM和CDH版本5.13.0
4.CDSW版本1.2.0
- 前置条件
1.CM和CDH已安装且正常运行
2.集群已部署Spark2 On Yarn模式
3.集群已部署Anaconda
4.集群已配置好DNS服务并配置CDSW节点的泛域名解析
2.部署CDSW Parcel包
1.下载CDSW的Parcel，下载地址如下
http://archive.cloudera.com/cdsw/1/parcels/1.2.0/CDSW-1.2.0.p1.183075-el7.parcel
http://archive.cloudera.com/cdsw/1/parcels/1.2.0/CDSW-1.2.0.p1.183075-el7.parcel.sha1
http://archive.cloudera.com/cdsw/1/parcels/1.2.0/manifest.json
2.将下载的文件部署在Apache所在服务器的/var/www/html/cdsw1.2.0目录下
[root@cdh01 cdsw1.2.0]# ll
total 4011980
-rwxr-xr-x 1 rootroot 4108254806 Nov 2 20:30CDSW-1.2.0.p1.183075-el7.parcel
-rwxr-xr-x 1 rootroot 40 Nov 2 18:47 CDSW-1.2.0.p1.183075-el7.parcel.sha1
-rwxr-xr-x 1 rootroot 4231 Nov 218:47 manifest.json
[root@cdh01 cdsw1.2.0]#
3.通过浏览器测试是否部署成功
看到以上界面说明部署成功。
3.安装CSD文件
1.下载CSD文件，使CM支持CDSW安装，文件下载地址
http://archive.cloudera.com/cdsw/1/csd/CLOUDERA_DATA_SCIENCE_WORKBENCH-1.2.0.jar
2.将下载的CLOUDERA_DATA_SCIENCE_WORKBENCH-1.2.0.jar文件放在CM所在服务器的/opt/cloudera/csd目录下
root@cdh01csd# cd /opt/cloudera/csd/
root@cdh01csd# ll
-rw-r--r--1 root root 8158 Oct 2005:52CLOUDERA_DATA_SCIENCE_WORKBENCH-1.2.0.jar
root@cdh01csd#
3.重启Cloudera-scm-server服务
root@cdh01csd# service cloudera-scm-server restart
Restartingcloudera-scm-server (via systemctl): [ OK ]
root@cdh01csd#
4.添加CDSW节点到集群
1.登录CM，新建一个主机模板
2.选择模板拥有的角色
3.完成主机模板创建
4.使用添加主机引导，进行主机添加，将cdswmaster主机添加到集群
5.选择cdswmaster主机，应用主机模板
应用成功
5.配置CDSW的Parcle库
1.配置parcel库
2.下载、分配并激活
3.完成激活
6.安装CDSW服务
1.进入CM主页，选择集群点击“添加服务”
2.进入添加服务引导界面, 选择“Cloudera Data Science Workbench”,点击“继续”
3.选择Master和Worker，点击“继续”
4.输入Domain和Block Device，点击“继续”
5.首次运行CDSW，点击“继续”
6.完成CDSW安装
CDSW启动需要一段时间，等待10-20分钟后再访问CDSW控制台。
7.测试CDSW功能
1.进入CDSW服务，点击链接登录CDSW控制台
2.点击CDSW Web UI进入CDSW登录界面
3.点击“Sign Up fo a New Account”注册，首次注册的账号默认为管理员账号
4.使用admin用户登录CDSW
5.点击New Project创建一个Python工程
6.工程创建完成后，打开“Open Workbench”，启动一个python的会话
7.执行示例代码
这里Fayson就简单的创建一个Python工程，运行工程里的事例代码测试，更多的功能及用法可以看看Fayson前面写的关于CDSW的一些文章。
8.总结
- CDSW访问时需要用到泛域名，因此必须为CDSW Master节点配置泛域名解析，具体可参看Fayson前面讲的《如何在Windows Server2012搭建DNS服务并配置泛域名解析》
- CDSW节点是运行在CM管理的Gateway节点上的，所有CDSW的节点需要满足CDH的前置条件检查，具体可以参考《CDH安装前置准备》
- CDSW所有节点需要加入CDH集群，并部署HDFS 、Yarn、Spark2的Gateway
- CDSW Master节点需要有多块DISK，磁盘空间大于100G，不需要对磁盘进行格式化分区操作。
为天地立心，为生民立命，为往圣继绝学，为万世开太平。 温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。
推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。
原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操
