专栏首页点滴积累安装ClouderaManager以及使用ClouderaManager安装分布式集群的若干细节

安装ClouderaManager以及使用ClouderaManager安装分布式集群的若干细节

目录

  1. 前言
  2. 整体介绍
  3. 分步安装介绍
  4. 总结

一、前言

       周末干了近四十个小时中间只休息了五个小时终于成功安装了ClouderaManager以及分布式集群,其中各种辛酸无以言表,唯有泪两行。总体是安装的很慢,但是其中有很多细节问题,需要记录下来使以后再次安装少走弯路,以及给其他有需要的人提供一点参考。

二、整体介绍

       整体上可以借鉴之前我写的一篇博客使用Ambari安装hadoop集群。安装共分三步,第一步安装并配置操作系统(本文采用Ubuntu14.04,其他的可以参考相应安装方法);第二步安装ClouderaManager;第三步安装分布式集群。

三、分步安装介绍

3.1 安装并配置操作系统

       整体配置包括启用root用户等都可以参考上述文章,这里强调一些细节。安装并配置操作系统应该是整个安装过程的核心,能否顺利完成分布式集群安装主要就在这一步,本次仅操作系统就重新安装了5次,已经变成了一个熟练的Ubuntu装机码农。这里面有太多的问题需要考虑,本次之所以折腾这么久,也主要浪费在这上面。根据此次经验我总结一定要注意以下几点:

       1、首先安装版本的选择,一定要安装ClouderaManager支持的版本,ClouderManager5目前Ubuntu只支持到14.04,其他系统可以查看具体要求。

       2、安装过程中时区选择一定要正确并统一,不然会造成时间同步的问题。为了严格时间同步,需要使用apt-get install ntp安装ntp进行时间同步。

       3、网络(IP、DNS等)在安装过程中可以先不进行配置,以节约时间,待安装完成后统一配置内网外IP及网关等,同时配置双网卡需要第一块网卡不在/etc/network/interfaces文件中配置gateway,使用route add -net 192.168.1.0/24 gw 192.168.1.1 dev eth1命令设置第一块网卡的路由,也可以将上述语句写到/etc/rc.local文件里,防止每次重启系统都要重新配置路由。

       4、用户名密码切记一定不要使用古怪的字符包含下划线中划线等等,密码也不要使用弱密码类型,否则真的可能是会出现各种各样莫名其妙、让人无法查找ERROR的问题。

       5、尽量启用系统root用户,否则在配置sudo免密码的时候就会有各种问题,并且在安装ClouderaManager的时候也会出现各种权限问题。

       6、每台机器的hosts配置要准确,不然肯定是要出问题的。

       7、如果网速不够快,可以将ubuntu的源替换成阿里云。

       8、最重要的一点,如果后续步骤一旦安装失败或报错,并且折腾一会之后找不到解决的办法,不要犹豫,马上重装系统,6台机器重装加配置一遍操作系统如果有6个系统盘加KVM的话也就顶多一个小时,但是你要真的去找问题,用上两个小时也不一定能找到问题,只会越来越纠结。

3.2 安装ClouderaManager

       首先切换到root用户,然后使用以下命令下载并安装即可:

wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin
chmod u+x cloudera-manager-installer.bin
./cloudera-manager-installer.bin

       这里面倒是没有什么特别需要注意的地方,只需要注意下载相应的版本以及在安装的过程中不要出现关机、断网等情况。

3.3 安装分布式集群

       如果前面两步都完成的很好的话这一步应该是很轻松的,本次安装中在最最后看着那一个个轻松飘来的绿色√,真的是喜极而泣、言不成声。但是回首整个过程真的是在安装集群这一步无比辛酸,前两步操作没有注意到的各种细节都会在这里变成一个个无法查找的ERROR,让人痛苦万分。该步需要注意以下细节:

       1、整个安装过程中使用tail -fn 300 /var/log/cloudera-scm-agent/cloudera-scm-agent.log来监控安装中出现的各种问题,有的时候web ui界面显示成功,可能并不是真的成功了,如果接着往下走肯定是不行。本次安装中就是刚开始没注意,在进行cdh分发以及激活的时候前台界面一直显示的成功,但是后来查看日志发现一直在报无法激活的错误,所以导致后续安装根据就不往下进行,只是简单的提示安装hdfs等出错,根本不给任何错误的信息,就无法发现问题,发现问题是解决问题的第一步,发现不了何谈去解决问题,当然造成无法激活的原因我猜测应该就是3.1中讲述的那些。

       2、关于选择单用户还是多用户模式可以根据自己的需要,二者区别并不大,只是多用户会创建hdfs、zookeeper等用户,但是一旦某一种模式安装失败,第二次安装的时候请换另一种模式,不要太执着,否则真的可能是一遍遍的重装仍无法解决问题。

       3、选择安装内容的时候可以先选少一点,比如选择自定义模式并只选spark、hdfs、zookeeper、YARN这几个。因为选的越少出现错误的可能性越小,而等这几个分布式的基础软件安装完毕之后,再安装其他的就很容易,不需要再从安装操作系统开始。

       4、如果集群安装失败可以重新安装一遍,只需要在管理界面点击添加集群,但是要通过管理界面将ClouderaManager中的Cluster1集群删除(默认叫这个名字,因为虽然安装失败但是集群在ClouderaManager中已经有了),然后将所有节点解除授权并从集群删除,否则无法将这些节点再加入到新创建的集群。

四、总结

       失败是安装过程中必然出现的,但是成功是多次失败安装的必然结果。我们要执着又不能太执着——要执着于一次不行两次、两次不行三次,但是又不能执着于不会灵活、不变通,该重装系统就重装系统,该改配置就改配置,该换方案就换方案。最终一定会收获成功。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • geopandas overlay 函数报错问题解决方案

    这篇文章依旧是基于上一篇文章(使用Python实现子区域数据分类统计)而写,此文章中介绍了使用 geopandas 的 overlay 函数对两个 GeoDat...

    魏守峰
  • OpenStack(企业私有云)万里长征第二步——使用Fuel部署

    一、前言 最近一直在使用DevStack来安装OpenStack,注意一直二字,部署了一遍又一遍,操作系统怕是安装了不下上百次,有时是为了验证新的方案,有时是安...

    魏守峰
  • 使用Python以优雅的方式实现根据shp数据对栅格影像进行切割

    一、前言        前面一篇文章(使用Python实现子区域数据分类统计)讲述了通过geopandas库实现对子区域数据的分类统计,说白了也就是如何根据一个...

    魏守峰
  • 1.Linux操作系统安装的5种方法以及心得

      安装Linux共有五种方法   1、光盘       2、硬盘   3、NFS 映像   4、FTP   5、HTTP   其中光盘安装是最普遍的,也是最简...

    MonroeCode
  • Exchange 搭建以及常见故障处理

    环境介绍:我这里用的是两台Windows 2008 R2,当然你可以使用Windows 2012 。

    DevinGeng
  • Python3网络爬虫实战-4、存储库的

    在前面一节我们介绍了几个数据库的安装方式,但这仅仅是用来存储数据的数据库,它们提供了存储服务,但如果想要和 Python 交互的话也同样需要安装一些 Pytho...

    py3study
  • Linux操作系统安装的5种方法以及心得

      其中光盘安装是最普遍的,也是最简单的我就不写了。我安装的这台机器没有光驱,也没有软驱!!!只有网卡和一个128MU盘"o"

    MonroeCode
  • Python爬虫环境搭建的那些坑

    编写和运行程序之前,我们必须先把开发环境配置好。只有配置好了环境并且有了更方便的开发工具,我们才能更加高效的用程序实现相应的功能。然而在很多情况下,我们可能最开...

    不可言诉的深渊
  • vSphere初体验之vCenter的安装

    物理机:DELL  IPTIPLEX 990 PC机 I52400处理器支持VT功能  8G内存 千兆网卡

    三杯水Plus
  • 快速学习-VMware安装

    通常情况下安装分为真机安装、在虚拟环境中安装。 真机安装:是指将电脑上的操作系统真实的换做其他的操作系统; 虚拟环境安装:是指通过一些特殊的软件虚拟出一个安...

    cwl_java

扫码关注云+社区

领取腾讯云代金券