前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Cloudera 大数据平台介绍

Cloudera 大数据平台介绍

作者头像
凹谷
发布2020-04-11 10:39:40
1.6K0
发布2020-04-11 10:39:40
举报
文章被收录于专栏:大数据与微服务架构

在这个城市,想要成为你想成为的人,只有两个选择,要么努力! 要么更加努力!

CDH:是Cloudera发布的一个自己封装的Hadoop商业版软件发行包,里面不仅包含了Cloudera的商业版Hadoop,同时CDH中也包含了各类常用的开源数据处理与存储框架,如Spark、Hive、Hbase等。

Cloudera Manager:简称CM 是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大的简化。它是Hadoop集群的软件分发及管理监控平台,通过它可以快速地部署好一个Hadoop集群,并对集群的节点及服务进行实时监控。

CM核心功能分为四大模块

一、管理功能

1、批量自动化部署节点:CM提供强大的Hadoop集群部署能力,能够批量地自动化部署节点,安装一个Hadoop集群只需添加需要安装的节点、安装需要的组件和分配角色这三步,大大缩短了Hadoop的安装时间,也简化了Hadoop的安装过程。

2、可视化的参数配置功能:Hadoop包含许多组件,不同组件都包含各种各样的XML配置文件,CM提供界面GUI可视化参数配置功能。

3、智能参数验证以及优化:当用户配置部分参数值有问题时,CM会给出智能错误提示,帮助用户更合理地修改配置参数。

4、高可用配置:CM对关键的组件使用HA部署,如NameNode高可用可以通过CMweb管理界面,根据向导启动HDFS HA。

5、权限管理:提供不同级别的管理权限,比如只读用户访问CM的界面时,所有服务对应的启停等操作选项都不可用。

二、监控功能

1、服务监控:查看服务和实例级别健康检查的结果,对设置各种指标和系统运行情况进行全面监控,而且系统会对管理员应该采取的行动提出建议。

2、主机监控:监控集群内所有主机的有关信息,包括主机上目前消耗的内存、主机上运行的角色分配等,不但可以显示所有集群主机的汇总视图,而且能进一步显示单个主机的关键指标详细视图。

3、行为监控:CM提供了列表和图表来查看集群上进行的活动,不仅可以显示当前正在进行的活动还可以通过仪表盘查看历史活动。

4、事件活动:监控界面可以查看事件,系统管理员可以通过时间范围、服务、主机、关键字等字段信息过滤事件。

5、报警:通过CM界面可以对指定事件产生报警,并通过邮件或者SNMP通知。

6、日志和报告:可以轻松点击一个链接查看相关特定服务的日志条目,并且CM可以对收集的历史监控数据统计生成报表。

三、诊断功能

1、周期性服务诊断:CM会对集群中运行的服务进行周期性的诊断,已检测这些服务的状态是否正常,如有异常会及时通知。

2、日志采集及检索:对于一个大规模的集群,CM提供了日志的收集功能,能够通过统一的界面查看集群中每台机器、各项服务的日志,并且可以根据日志级别进行检索。

3、系统性能使用报告:CM能够产生系统性能报告,包括集群的CPU使用率、单节点的CPU使用率、单个进程的CPU使用率等各项性能数据,这对hadoop集群调优很重要。

四、集成功能

1、安全配置:为了方便Hadoop大数据平台与原有身份认证系统如AD、LDAP等的集成,CM只需在界面上配置即可完成。

2、CM API:通过CM API 可以方便将CM集成到企业原有管理系统中

3、SNMP集成【简单网络管理协议(SNMP)】:CM提供了方面的SNMP集成能力,只需要简单的配置就能够将SNMP进行集成,并且将集群中的告警信息进行转发。

CM的高级功能(付费)

1、软件滚动升级:Hadoop版本升级和bug修复,支持升级过程中继续对外提供服务及应用。

2、参数版本控制:任何时候进行配置修改并保证之后,CM会对该配置生成一个版本,支持查看历史配置,并能回滚到不同版本,从而为集群恢复、问题诊断提供了可靠的依据。

3、备份及容灾系统BDR:实现界面化的数据备份与容灾恢复。

4、数据审计:支持对数据的审计和访问

5、安全集成向导:启动Kerberos集成和外部安全认证集成,如支持通过内部数据库和外部服务进行用户认证。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-05-02,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 大数据与微服务架构 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档