首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >0776-6.2.0-如何在CDH6.2.0上安装CDSW1.6

0776-6.2.0-如何在CDH6.2.0上安装CDSW1.6

作者头像
Fayson
发布2020-05-29 16:39:04
1.3K0
发布2020-05-29 16:39:04
举报
文章被收录于专栏:Hadoop实操Hadoop实操

文档编写目的

本篇文章主要介绍如何在CDH6.2.0上通过parcel包的方式安装CDSW1.6。

  • 内容概述

1.部署CDSW parcel及安装CSD文件

2.添加CDSW节点到集群并部署Gateway角色

3.安装DNS服务并配置泛域名解析

4.安装CDSW服务

5.测试CDSW

  • 测试环境

1.Redhat7.2

2.采用root用户操作

3.CM/CDH6.2.0

4.CDSW版本1.6

  • 前置条件

1.CM和CDH已安装且正常运行

2.集群已部署Spark2 On Yarn模式

3.集群已配置好DNS服务并配置CDSW节点的泛域名解析

4.CDSW节点已经通过CM加入到集群中

安装CDSW

2.1 CDSW节点配置

在准备新添加的CDSW节点上按照之前安装CDH集群的要求,配置好需要的设置。

包括下面这些

修改hostname,并更新到所有节点的/etc/hosts文件

[root@cdsw ~]# hostnamectl set-hostname cdsw.hadoop.com

关闭防火墙,禁用SELinux

[root@cdsw yum.repos.d]# systemctl stop firewalld
[root@cdsw yum.repos.d]# systemctl disable firewalld
[root@cdsw yum.repos.d]# setenforce 0

关闭透明大页面,设置SWAP为1

[root@cdsw ~]# echo 1 > /proc/sys/vm/swappiness
[root@cdsw ~]# echo never > /sys/kernel/mm/transparent_hugepage/defrag 
[root@cdsw ~]# echo never > /sys/kernel/mm/transparent_hugepage/enabled

配置时钟同步

配置好OS的yum源后,卸载原有的chrony然后安装ntp服务

[root@cdsw yum.repos.d]# yum install -y ntp

安装好后,修改/etc/ntp.conf 让cdsw节点跟cdh01节点同步

然后重启ntpd服务,验证是否和主机已经同步,用下面的命令

[root@cdsw ~]# ntpq -p

前面出现*号 表明同步成功

2.2 部署Parcel包,安装CSD文件

把Parcel下载下来,地址如下,放到/var/www/html/cdsw1.6 这个目录下,部署成功

https://archive.cloudera.com/cdsw1/1.6.0/parcels/CDSW-1.6.0.p1.1294376-el7.parcel
https://archive.cloudera.com/cdsw1/1.6.0/parcels/CDSW-1.6.0.p1.1294376-el7.parcel.sha
https://archive.cloudera.com/cdsw1/1.6.0/parcels/manifest.json

下载CSD文件,使CM支持CDSW安装,文件下载地址

https://archive.cloudera.com/cdsw1/1.6.0/csd/CLOUDERA_DATA_SCIENCE_WORKBENCH-CDH6-1.6.0.jar

下载好后放在CM所在服务器的/opt/cloudera/csd目录下

重启cloudera-scm-server服务

[root@cdh01 csd]# systemctl restart cloudera-scm-server

2.3 添加CDSW节点到集群

1.登录CM,新建一个主机模板,选择模板角色

添加节点到集群

一直点下一步,到添加主机模板这里,选择刚才创建的模板

完成后,可以看到cdsw节点已经添加进集群并且角色已经添加成功。

2.4 配置CDSW的Parcel库

在CM主页点开Parcel页面,添加CDSW的Parcel地址

然后下载,分配,激活

2.5 安装DNS服务并配置泛域名解析

1.安装dnsmasq

[root@cdsw ~]# yum -y install dnsmasq

2.验证安装

[root@cdsw ~]# dnsmasq -v

3.配置DNS服务以及泛域名解析,在/etc/dnsmasq.conf文件末尾增加以下配置。

[root@cdsw ~]# vim /etc/dnsmasq.conf
strict-order
listen-address=192.168.0.209
addn-hosts=/etc/hosts
address=/cdsw.hadoop.com/192.168.0.209
address=/cdsw/192.168.0.209

4.启动dnsmasq服务,并加入开机自启动

[root@cdsw ~]# systemctl start dnsmasq
[root@cdsw ~]# systemctl enable dnsmasq

5.修改/etc/resolv.conf文件配置,在nameserver中增加创建的DNS服务器IP地址,这里是将cdsw本机配置为dns服务器,所以将cdsw这台机器的内网IP地址配置到该文件中。

[root@cdsw ~]# vim /etc/resolv.conf

6.泛域名解析测试

[root@cdsw ~]# nslookup 192.168.0.209
[root@cdsw ~]# nslookup cdsw.hadoop.com
[root@cdsw ~]# nslookup xxx.cdsw.hadoop.com

2.6 安装CDSW服务

在CM主页,集群按钮旁,点击添加服务

选择CDSW

继续,选择Master主机,由于只有一台服务器,就不添加work节点了。

安装完成

验证CDSW功能

在登陆CDSW之前,我们先配置好Windows机器里面的DNS服务

配置完之后,登陆CDSW。

点击Web UI,进入登陆界面,点击注册

注册完成后,自动登陆CDSW界面,首次注册的账号自动为管理员账号

点击New Project创建一个Python工程

点击Create Project,然后点击Open Workbench

点击Launch Session启动会话

执行示例代码,验证完成

总结

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2020-05-25,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Hadoop实操 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
专用宿主机
专用宿主机(CVM Dedicated Host,CDH)提供用户独享的物理服务器资源,满足您资源独享、资源物理隔离、安全、合规需求。专用宿主机搭载了腾讯云虚拟化系统,购买之后,您可在其上灵活创建、管理多个自定义规格的云服务器实例,自主规划物理资源的使用。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档