针对整个物流项目来说,1台虚拟机安装部署大数据环境:
基于CM6.2.1安装CDH6.2.1
。 关于CM功能及CM安装,不再过多赘述,项目还是要注重于业务及数据和实现。
提供虚拟机【
node2.itcast.cn
】解压后,导入VMWare 软件中,启动虚拟机即可(选择我已移动该虚拟机)
4GB
或者6GB
或者8GB
即可admin/admin
架构原理:CM如何安装CDH框架,原理架构是什么?????
打成包:parcel
/opt/cloudera/parcel-repo
/opt/cloudera/parcels
下图表示使用CM安装CDH架构原理图,多多理解。
当使用CM安装CDH集群以后,可以通过CM界面UI,管理整个集群服务和查看监控运行状态。
使用CM安装CDH集群时,针对每个框架(比如,HDFS、MAPREDUCE、YARN等)创建用户,不可以被用于登录操作系统。
以框架名称创建用户,所有用户名为框架名称。
/etc/passwd
使用CM安装CDH组件时,配置分为2类:
scm
/etc/xx/conf
,其中xx表示框架名称
使用CM安装CDH组件时,默认启动服务时,日志文件存储目录:
/var/log/xx/
由于每个框架都有自己用户,所以有时候对框架进行操作时,需要切换到框架用户,比如在HDFS文件系统上创建目录,使用
hdfs
用户,如下所示切换用户:
# root切换框架用户方式
sudo -u userName
# 举例说明:
[root@node2 ~]# sudo -u hdfs hdfs dfs -mkdir -p /datas
[root@node2 ~]# sudo -u hdfs hdfs dfs -ls