Cloudera 大数据平台介绍

在这个城市，想要成为你想成为的人，只有两个选择，要么努力！ 要么更加努力！

CDH：是Cloudera发布的一个自己封装的Hadoop商业版软件发行包，里面不仅包含了Cloudera的商业版Hadoop，同时CDH中也包含了各类常用的开源数据处理与存储框架，如Spark、Hive、Hbase等。

Cloudera Manager：简称CM 是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大的简化。它是Hadoop集群的软件分发及管理监控平台，通过它可以快速地部署好一个Hadoop集群，并对集群的节点及服务进行实时监控。

CM核心功能分为四大模块

一、管理功能

1、批量自动化部署节点：CM提供强大的Hadoop集群部署能力，能够批量地自动化部署节点，安装一个Hadoop集群只需添加需要安装的节点、安装需要的组件和分配角色这三步，大大缩短了Hadoop的安装时间，也简化了Hadoop的安装过程。

2、可视化的参数配置功能：Hadoop包含许多组件，不同组件都包含各种各样的XML配置文件，CM提供界面GUI可视化参数配置功能。

3、智能参数验证以及优化：当用户配置部分参数值有问题时，CM会给出智能错误提示，帮助用户更合理地修改配置参数。

4、高可用配置：CM对关键的组件使用HA部署，如NameNode高可用可以通过CMweb管理界面，根据向导启动HDFS HA。

5、权限管理：提供不同级别的管理权限，比如只读用户访问CM的界面时，所有服务对应的启停等操作选项都不可用。

二、监控功能

1、服务监控：查看服务和实例级别健康检查的结果，对设置各种指标和系统运行情况进行全面监控，而且系统会对管理员应该采取的行动提出建议。

2、主机监控：监控集群内所有主机的有关信息，包括主机上目前消耗的内存、主机上运行的角色分配等，不但可以显示所有集群主机的汇总视图，而且能进一步显示单个主机的关键指标详细视图。

3、行为监控：CM提供了列表和图表来查看集群上进行的活动，不仅可以显示当前正在进行的活动还可以通过仪表盘查看历史活动。

4、事件活动：监控界面可以查看事件，系统管理员可以通过时间范围、服务、主机、关键字等字段信息过滤事件。

5、报警：通过CM界面可以对指定事件产生报警，并通过邮件或者SNMP通知。

6、日志和报告：可以轻松点击一个链接查看相关特定服务的日志条目，并且CM可以对收集的历史监控数据统计生成报表。

三、诊断功能

1、周期性服务诊断：CM会对集群中运行的服务进行周期性的诊断，已检测这些服务的状态是否正常，如有异常会及时通知。

2、日志采集及检索：对于一个大规模的集群，CM提供了日志的收集功能，能够通过统一的界面查看集群中每台机器、各项服务的日志，并且可以根据日志级别进行检索。

3、系统性能使用报告：CM能够产生系统性能报告，包括集群的CPU使用率、单节点的CPU使用率、单个进程的CPU使用率等各项性能数据，这对hadoop集群调优很重要。

四、集成功能

1、安全配置：为了方便Hadoop大数据平台与原有身份认证系统如AD、LDAP等的集成，CM只需在界面上配置即可完成。

2、CM API：通过CM API 可以方便将CM集成到企业原有管理系统中

3、SNMP集成【简单网络管理协议（SNMP）】：CM提供了方面的SNMP集成能力，只需要简单的配置就能够将SNMP进行集成，并且将集群中的告警信息进行转发。

CM的高级功能（付费）

1、软件滚动升级：Hadoop版本升级和bug修复，支持升级过程中继续对外提供服务及应用。

2、参数版本控制：任何时候进行配置修改并保证之后，CM会对该配置生成一个版本，支持查看历史配置，并能回滚到不同版本，从而为集群恢复、问题诊断提供了可靠的依据。

3、备份及容灾系统BDR：实现界面化的数据备份与容灾恢复。

4、数据审计：支持对数据的审计和访问

5、安全集成向导：启动Kerberos集成和外部安全认证集成，如支持通过内部数据库和外部服务进行用户认证。