前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >如何在CDH5.15中安装CDSW1.4

如何在CDH5.15中安装CDSW1.4

作者头像
Fayson
发布2018-07-13 10:21:29
5.3K2
发布2018-07-13 10:21:29
举报
文章被收录于专栏:Hadoop实操

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。

Fayson的github: https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1.文档编写目的


Cloudera在2018年6月12日发布了CDH5.15版本,5.15的新功能可以参考前一篇文章《CDH5.15和CM5.15的新功能》,随着CDH5.15发布的同时还有CDSW1.4。在CDH5.13版本以后支持CDSW的Parcel安装,本篇文章就主要讲述如何通过CM5.15使用Parcel包安装CDSW1.4。

CDSW需要DNS服务和泛域名解析,可以参考Fayson以前的文章

如何在Windows Server2008搭建DNS服务并配置泛域名解析》,《如何利用Dnsmasq构建小型集群的本地DNS服务器》,《如何在Windows Server2012搭建DNS服务并配置泛域名解析》,《如何在RedHat6上使用Bind搭建DNS服务》和《如何在RedHat7上使用Bind搭建DNS服务》,CDSW1.4的新功能可以参考《CDSW1.4的新功能》。

  • 内容概述

1.部署CDSW parcel及安装CSD文件

2.添加CDSW节点到集群并部署Gateway角色

3.安装DNS服务并配置泛域名解析

4.安装CDSW服务

5.测试CDSW

  • 测试环境

1.Redhat7.4

2.采用root用户操作

3.CM/CDH5.15

4.CDSW版本1.4.0

  • 前置条件

1.CM和CDH已安装且正常运行

2.集群已部署Spark2 On Yarn模式

3.集群已部署Anaconda

4.集群已配置好DNS服务并配置CDSW节点的泛域名解析

5.CDSW节点已经通过CM加入到集群中

2.部署CDSW Parcel包


1.下载CDSW的Parcel,下载地址如下

代码语言:javascript
复制
https://archive.cloudera.com/cdsw1/1/parcels/CDSW-1.4.0.p1.431664-el7.parcel
https://archive.cloudera.com/cdsw1/1/parcels/CDSW-1.4.0.p1.431664-el7.parcel.sha
https://archive.cloudera.com/cdsw1/1/parcels/manifest.json

(可左右滑动)

2.将下载的文件部署在Apache所在服务器的/var/www/html/cdsw1.4目录下

代码语言:javascript
复制
[root@ip-172-31-6-83 ~]# cd /var/www/html/cdsw1.4/
[root@ip-172-31-6-83 cdsw1.4]# ll
total 4355268
-rw-r--r-- 1 root root 4459778976 Jun 21 22:49 CDSW-1.4.0.p1.431664-el7.parcel
-rw-r--r-- 1 root root         41 Jun 21 22:49 CDSW-1.4.0.p1.431664-el7.parcel.sha
-rw-r--r-- 1 root root       4231 Jun 21 22:49 manifest.json
[root@ip-172-31-6-83 cdsw1.4]#

(可左右滑动)

3.通过浏览器测试是否部署成功

看到以上界面说明部署成功。

3.安装CSD文件


1.下载CSD文件,使CM支持CDSW安装,文件下载地址

代码语言:javascript
复制
https://archive.cloudera.com/cdsw1/1/csd/CLOUDERA_DATA_SCIENCE_WORKBENCH-CDH5-1.4.0.jar

(可左右滑动)

2.将下载CLOUDERA_DATA_SCIENCE_WORKBENCH-CDH5-1.4.0.jar文件放在CM所在服务器的/opt/cloudera/csd目录下

代码语言:javascript
复制
[root@ip-172-31-6-83 ~]#  cd /opt/cloudera/csd/
[root@ip-172-31-6-83 csd]# ll
total 12
-rw-r--r-- 1 root root 10733 Jun 20 22:42 CLOUDERA_DATA_SCIENCE_WORKBENCH-CDH5-1.4.0.jar
[root@ip-172-31-6-83 csd]#

(可左右滑动)

3.重启Cloudera-scm-server服务

代码语言:javascript
复制
[root@ip-172-31-6-83 csd]# service cloudera-scm-server restart
Restarting cloudera-scm-server (via systemctl):            [  OK  ]
[root@ip-172-31-6-83 csd]#

(可左右滑动)

4.添加CDSW节点到集群


1.登录CM,新建一个主机模板

2.选择模板拥有的角色

3.完成主机模板创建

4.使用添加主机引导,进行主机添加,将cdsw master主机添加到集群,如下图所示为cdsw.fayson.com新节点

5.选择cdsw master主机,应用主机模板

应用成功

5.配置CDSW的Parcle库


1.配置parcel库

2.下载、分配并激活

3.完成激活

6.安装DNS服务并配置泛域名解析


1.安装dnsmasq

代码语言:javascript
复制
[root@cdsw ~]# yum -y install dnsmasq

(可左右滑动)

2.验证安装

代码语言:javascript
复制
[root@cdsw ~]# dnsmasq -v

(可左右滑动)

3.配置DNS服务以及泛域名解析,在/etc/dnsmasq.conf文件末尾增加以下配置。

代码语言:javascript
复制
[root@cdsw ~]# vim /etc/dnsmasq.conf
resolv-file=/etc/resolv.dnsmasq.conf
strict-order
listen-address=172.31.14.51
addn-hosts=/etc/hosts
address=/cdsw.fayson.com/172.31.14.51
address=/cdsw/172.31.14.51

(可左右滑动)

配置说明:

resolve-file:定义Dnsmasq从哪里获取上游DNS服务器的地址,默认是从/etc/resolv.conf获取。在此我们定义的是从/etc/resolv.Dnsmasq.conf文件中获得。

strict-order:表示严格按照resolv-file文件中的顺序从上到下进行DNS解析,直到第一个解析成功为止。

listen-address:定义Dnsmasq监听的地址,默认是监控DNS本机的所有网卡上。如果想让局域网内的其他机器使用Dnsmasq解析域名的话,需要添加本机的IP地址。

address:自定义域名解析的IP地址,在此以cdsw-demo.cloudera.com这个域名为例。注意Dnsmasq是支持泛域名解析的,以上配置就是一个典型的泛域名解析实例。

address:也可以过滤某些网站,比如如果不想让客户端解析youk.com这个域名的话,我们这个把该域名解析到一台不存在的服务器上或者解析到127.0.0.1这个地址。如:address=/cdsw-demo.cloudera.com/127.0.0.1

4.启动dnsmasq服务

代码语言:javascript
复制
[root@cdsw ~]# systemctl start dnsmasq
[root@cdsw ~]# systemctl enable dnsmasq

(可左右滑动)

5.修改/etc/resolv.conf文件配置,在nameserver中增加创建的DNS服务器IP地址,Fayson这里是将cdsw本机配置为dns服务器,所以将cdsw这台机器的内网IP地址配置到该文件中。

代码语言:javascript
复制
[root@cdsw ~]# vim /etc/resolv.conf

(可左右滑动)

6.泛域名解析测试

代码语言:javascript
复制
nslookup 172.31.14.51
nslookup cdsw.fayson.com
nslookup xxx.cdsw.fayson.com

7.安装CDSW服务


1.进入CM主页,选择集群点击“添加服务”

2.进入添加服务引导界面, 选择“Cloudera Data Science Workbench”,点击“继续”

3.选择Master和Worker,点击“继续”,Fayson的环境只有一台机器,Worker节点不用选择,为空即可。

4.输入Domain和Block Device,点击“继续”

注意:/dev/xvdb必须是一块大于100GB的裸盘,生产环境建议500GB以上,并配置多块。

5.首次运行CDSW,点击“继续”

6.完成CDSW安装

主页显示

CDSW启动需要一段时间,等待10-20分钟后再访问CDSW控制台。

8.测试CDSW功能


1.Fayson使用的是AWS环境,访问CDSW需要用内网的里的Windows机器,我们这里先配置Windows机器连接到我们刚配置的DNS服务。

2.进入CDSW服务,点击链接登录CDSW控制台

3.点击CDSW Web UI进入CDSW登录界面

4.点击“Sign Up fo a New Account”注册,首次注册的账号默认为管理员账号

5.使用admin用户登录CDSW

6.点击New Project创建一个Python工程

7.工程创建完成后,打开“Open Workbench”,启动一个python的会话

8.执行示例代码

这里Fayson就简单的创建一个Python工程,运行工程里的示例代码测试,更多的功能及用法可以看看Fayson前面写的关于CDSW的一些文章。

9.总结


1.CDSW访问时需要用到泛域名,因此必须为CDSW Master节点配置泛域名解析,具体可参看Fayson前面讲的《《如何在Windows Server2008搭建DNS服务并配置泛域名解析》,《如何利用Dnsmasq构建小型集群的本地DNS服务器》,《如何在Windows Server2012搭建DNS服务并配置泛域名解析》,《如何在RedHat6上使用Bind搭建DNS服务》和《如何在RedHat7上使用Bind搭建DNS服务

2.CDSW节点是运行在CM管理的Gateway节点上的,所有CDSW的节点需要满足CDH的前置条件检查,具体可以参考《CDH安装前置准备

3.CDSW所有节点需要加入CDH集群,并部署HDFS 、Yarn、Spark2的Gateway

4.CDSW Master节点需要有多块DISK,磁盘空间大于100G,不需要对磁盘进行格式化分区操作。

5.CDSW1.4更吃资源了,Fayson在4核16GB的环境下虽然可以安装成功过,但是无法运行会话,调整为8核32GB内存才成功。

提示:代码块部分可以左右滑动查看噢

为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2018-07-11,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Hadoop实操 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
专用宿主机
专用宿主机(CVM Dedicated Host,CDH)提供用户独享的物理服务器资源,满足您资源独享、资源物理隔离、安全、合规需求。专用宿主机搭载了腾讯云虚拟化系统,购买之后,您可在其上灵活创建、管理多个自定义规格的云服务器实例,自主规划物理资源的使用。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档