如何在CDH5.13中安装CDSW1.2

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

1.文档编写目的


Cloudera前一段时间发布了CDH5.13版本,5.13的新功能可以参考前一篇文章《CDH5.13和CM5.13的新功能》,在CDH5.13版本以后支持CDSW的Parcel安装,本篇文章就主要讲述如何通过CM使用Parcel包安装CDSW。

CDSW需要DNS服务和泛域名解析,可以参考Fayson以前的文章《如何在Windows Server2008搭建DNS服务并配置泛域名解析》或《如何利用Dnsmasq构建小型集群的本地DNS服务器》或《如何在Windows Server2012搭建DNS服务并配置泛域名解析》,CDSW1.2的新功能可以参考《CDSW1.2的新功能》。

  • 内容概述

1.部署CDSW parcel及安装CSD文件

2.添加CDSW节点到集群并部署Gateway角色

3.安装CDSW服务

4.测试CDSW

  • 测试环境

1.CentOS7.2

2.采用root用户操作

3.CM和CDH版本5.13.0

4.CDSW版本1.2.0

  • 前置条件

1.CM和CDH已安装且正常运行

2.集群已部署Spark2 On Yarn模式

3.集群已部署Anaconda

4.集群已配置好DNS服务并配置CDSW节点的泛域名解析

2.部署CDSW Parcel包


1.下载CDSW的Parcel,下载地址如下

http://archive.cloudera.com/cdsw/1/parcels/1.2.0/CDSW-1.2.0.p1.183075-el7.parcel

http://archive.cloudera.com/cdsw/1/parcels/1.2.0/CDSW-1.2.0.p1.183075-el7.parcel.sha1

http://archive.cloudera.com/cdsw/1/parcels/1.2.0/manifest.json

2.将下载的文件部署在Apache所在服务器的/var/www/html/cdsw1.2.0目录下

[root@cdh01 cdsw1.2.0]# ll

total 4011980

-rwxr-xr-x 1 rootroot 4108254806 Nov 2 20:30CDSW-1.2.0.p1.183075-el7.parcel

-rwxr-xr-x 1 rootroot 40 Nov 2 18:47 CDSW-1.2.0.p1.183075-el7.parcel.sha1

-rwxr-xr-x 1 rootroot 4231 Nov 218:47 manifest.json

[root@cdh01 cdsw1.2.0]#

3.通过浏览器测试是否部署成功

看到以上界面说明部署成功。

3.安装CSD文件


1.下载CSD文件,使CM支持CDSW安装,文件下载地址

http://archive.cloudera.com/cdsw/1/csd/CLOUDERA_DATA_SCIENCE_WORKBENCH-1.2.0.jar

2.将下载的CLOUDERA_DATA_SCIENCE_WORKBENCH-1.2.0.jar文件放在CM所在服务器的/opt/cloudera/csd目录下

root@cdh01csd# cd /opt/cloudera/csd/

root@cdh01csd# ll

-rw-r--r--1 root root 8158 Oct 2005:52CLOUDERA_DATA_SCIENCE_WORKBENCH-1.2.0.jar

root@cdh01csd#

3.重启Cloudera-scm-server服务

root@cdh01csd# service cloudera-scm-server restart

Restartingcloudera-scm-server (via systemctl): [ OK ]

root@cdh01csd#

4.添加CDSW节点到集群


1.登录CM,新建一个主机模板

2.选择模板拥有的角色

3.完成主机模板创建

4.使用添加主机引导,进行主机添加,将cdswmaster主机添加到集群

5.选择cdswmaster主机,应用主机模板

应用成功

5.配置CDSW的Parcle库


1.配置parcel库

2.下载、分配并激活

3.完成激活

6.安装CDSW服务


1.进入CM主页,选择集群点击“添加服务”

2.进入添加服务引导界面, 选择“Cloudera Data Science Workbench”,点击“继续”

3.选择Master和Worker,点击“继续”

4.输入Domain和Block Device,点击“继续”

5.首次运行CDSW,点击“继续”

6.完成CDSW安装

CDSW启动需要一段时间,等待10-20分钟后再访问CDSW控制台。

7.测试CDSW功能


1.进入CDSW服务,点击链接登录CDSW控制台

2.点击CDSW Web UI进入CDSW登录界面

3.点击“Sign Up fo a New Account”注册,首次注册的账号默认为管理员账号

4.使用admin用户登录CDSW

5.点击New Project创建一个Python工程

6.工程创建完成后,打开“Open Workbench”,启动一个python的会话

7.执行示例代码

这里Fayson就简单的创建一个Python工程,运行工程里的事例代码测试,更多的功能及用法可以看看Fayson前面写的关于CDSW的一些文章。

8.总结


  • CDSW访问时需要用到泛域名,因此必须为CDSW Master节点配置泛域名解析,具体可参看Fayson前面讲的《如何在Windows Server2012搭建DNS服务并配置泛域名解析
  • CDSW节点是运行在CM管理的Gateway节点上的,所有CDSW的节点需要满足CDH的前置条件检查,具体可以参考《CDH安装前置准备
  • CDSW所有节点需要加入CDH集群,并部署HDFS 、Yarn、Spark2的Gateway
  • CDSW Master节点需要有多块DISK,磁盘空间大于100G,不需要对磁盘进行格式化分区操作。

为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。


推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2017-11-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Hadoop实操

如何修改CDH集群的IP地址

在CDH集群中使用多个IP地址来管理集群,独立的集群内网和管理网段,管理网段与外部应用网络通但不与内网通。在部署集群是由于错将管理网段作为集群的内网,所以这里需...

4404
来自专栏Hadoop实操

如何在CDH集群使用HDFS快照

HDFS中可以对目录创建Snapshot,创建之后不管后续目录发生什么变化,都可以通过快照找回原来的文件和目录结构,那么在CDH集群中如何使用HDFS的快照功能...

3449
来自专栏菩提树下的杨过

hadoop1.2.1伪分布模式配置

1、修改core-site.xml,配置hdfs 1 <configuration> 2 <property> 3 <name>fs.default...

2175
来自专栏LhWorld哥陪你聊算法

【CDH篇】---CDH从初识到搭建到应用

CDH(Cloudera's Distribution, including Apache Hadoop)是Hadoop众多分支中的一种,由Cloudera维护...

5212
来自专栏Hadoop实操

如何给Kerberos环境下的CDH集群添加Gateway节点

Gateway节点又称为客户端节点,通常用作访问Hadoop集群的接口机。它主要会部署一些客户端的配置,脚本命令,比如HDFS的core-site.xml,hd...

4414
来自专栏蓝天

使用process_monitor.sh监控hadoop进程的crontab配置

可以从下列链接找到process_monitor.sh: https://github.com/eyjian/mooon/blob/master/commo...

1212
来自专栏Hadoop实操

如何在不重启Yarn服务的情况下启用DEBUG日志记录

为了解决Yarn问题,需要为不同的服务启用调试。但是,在生产集群中,可能无法立即重启Yarn服务。本篇文章Fayson主要介绍如何在不重启Yarn服务的情况下为...

1525
来自专栏Hadoop实操

如何使用Intellij搭建Spark开发环境

在开始Spark学习之前,首先需要搭建Spark的开发环境,可以基于Eclipse或者Intellij等IDE,本文档主要讲述如何使用Intellij搭建Spa...

3684
来自专栏乐沙弥的世界

Windows 2012配置故障转移(For SQLServer 2014 AlwaysOn)

单击”管理”菜单,选择”添加角色和功能” 单击”下一步”,选择”基于角色或基于功能的安装”,单击”下一步” 选择本地服务器,单击”下一步”,直到功能模块...

1312
来自专栏Hadoop实操

如何编译及使用hive-testbench生成Hive基准测试数据

前面Fayson介绍了《如何编译及使用TPC-DS生成测试数据》,在本篇文章Fayson主要介绍GitHub上的一个开源的项目hive-testbench,该项...

87110

扫码关注云+社区

领取腾讯云代金券