专栏首页Hadoop实操0509-深入分析CDH的安装目录

0509-深入分析CDH的安装目录

如果采用Cloudera官方建议的安装方式,即Cloudera Manager使用rpm的方式安装,CDH使用Parcel方式安装,会在操作系统内产生多种多样的目录。CDH安装主要使用的目录包括/etc,/usr,/var,/tmp,/opt共5个目录,不同的目录下保存不同的子文件夹以及多种多样不同的文件内容主要涉及比如安装包,配置文件,执行命令脚本等。本文Fayson会详细讲解各个目录的作用以及建议规划的大小。

  • 测试环境:

1.操作系统:Redhat7.4

2.CM和CDH版本为5.15.0

3.使用root用户进行操作

1

/etc

1.CM与Agent

  • 包含子目录:

/etc/cloudera-scm-server

/etc/cloudera-scm-agent

  • 目录说明

Cloudera Manager和Agent的配置目录,比如Manager的数据库文件配置,Agent连接Manager的相关配置项目。

  • 子目录大小(参考)

16KB

28KB

  • 目录大小(参考,子目录大小总和)

44KB

  • 备注

/etc/cloudera-scm-server只有CM节点才有,/etc/cloudera-scm-agent所有CDH集群内的节点都会有

2.Hadoop组件配置目录

  • 包含子目录及目录大小:
  • 目录说明

所有Hadoop相关服务的客户端配置,比如:hadoop服务的core-site.xml、hdfs-site.xml,Hive服务的hive-site.xml等。

  • 目录大小(参考,子目录大小总和)

600KB

  • 备注

所有Hadoop相关角色的节点都会存在这些目录,对于Gateway节点需要部署了相关服务客户端配置的才有存在。

3.Hadoop组件配置及命令软连目录

  • 目录说明

所有Hadoop相关命令的软链比如:

/etc/alternatives/hadoop -> /opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/bin/hadoop
  • 目录大小

348KB

  • 备注

所有Hadoop相关角色的节点都会存在这些目录,对于Gateway节点需要部署了相关服务客户端配置的才有存在。

2

/usr

1./usr/share/cmf/目录

  • 目录说明

主程序安装目录,包含Manager管理相关,Navigator等

  • 目录大小

951MB

  • 备注

所有CDH节点包含

2./usr/lib64/cmf/目录

  • 目录说明

Agent相关目录包括依赖,程序代码,环境变量等。

  • 目录大小

87MB

  • 备注

所有CDH节点包含

3./usr/bin目录

  • 目录说明

所有Hadoop相关命令的软链,它们会再软链到/etc/alternatives中去,比如:

/etc/bin/hadoop -> /etc/alternatives/hadoop

  • 目录大小

<1MB

  • 备注

所有Hadoop相关角色的节点都会存在这些目录,对于Gateway节点需要部署了相关服务客户端配置的才有存在。

3

/var

3.1

/var/lib

1.Cloudera Manager服务包含子目录及目录大小

2.Hadoop服务相关数据目录

3.2

/var/run、/var/cache/yum

3.3

/var/log

1.Cloudera Manager相关服务包含子目录及目录大小

2.Hadoop相关服务运行日志目录

3.4

Zookeeper与MySQL

4

/opt

5

/tmp

提示:代码块部分可以左右滑动查看噢

为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。

本文分享自微信公众号 - Hadoop实操(gh_c4c535955d0f),作者:Fayson

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-01-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 如何使用Scala代码访问Kerberos环境的HDFS

    前面Fayson介绍了《如何使用Java API访问HDFS为目录设置配额》,随着开发语言的多样性,也有基于Scala语言进行开发,本篇文章主要介绍如何使用Sc...

    Fayson
  • 重庆某项目生产集群扩容问题总结及复盘

    本文主要讲述重庆某项目生产集群扩容项目问题总结及复盘。其中部分问题之前有写过相关文档,可参考我之前写的文章《CDH集群安装YARN无法正常启动及解决办法》、《H...

    Fayson
  • 如何迁移CDH的opt目录

    部分企业对OS的目录空间划分有严格的要求(如:/、/opt、/var等目录),CDH安装的安装目录默认是在/opt下,随着版本的升级和新组件的安装占用了大量的/...

    Fayson
  • Linux之目录结构详解

    对于每一个Linux学习者来说,了解Linux文件系统的目录结构,是学好Linux的至关重要的一步.,深入了解linux文件目录结构的标准和每个目录的详细功能,...

    浩Coding
  • linux每日命令(24):Linux 目录结构

    对于每一个Linux学习者来说,了解Linux文件系统的目录结构,是学好Linux的至关重要的一步.,深入了解linux文件目录结构的标准和每个目录的详细功能,...

    用户1214487
  • Linux 文件系统详解

    早在 1996 年,在真正理解文件系统的结构之前,我就学会了如何在我崭新的 Linux 上安装软件。这是一个问题,但对程序来说不是大问题,因为即使我不知道实际的...

    ZhangXianSheng
  • Linux之文档与目录结构

    Linux目录结构的组织形式和Windows有很大的不同。首先Linux没有“盘(C盘、D盘、E盘)”的概念。已经建立文件系统的硬盘分区被挂载到某一个目录下,用...

    超蛋lhy
  • Linux之将目录bind到另一个目录

    克虏伯
  • 【Linux笔记】系统目录结构

    在 Linux 或 Unix 操作系统中,所有的文件和目录都被组织成以一个根节点开始的倒置的树状结构。文件系统的最顶层是由根目录开始的,系统使用 / 来表示根目...

    正念君
  • Linux养成计划(二)

    这篇文章介绍关于Linux系统的目录结构,比较Linux系统和Windows系统目录结构的区别。我们知道在Linux中一切皆文件,包括它的硬件,声卡、硬盘等等都...

    用户1093975

扫码关注云+社区

领取腾讯云代金券