前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >CDP私有云基础版概述

CDP私有云基础版概述

作者头像
大数据杂货铺
发布2020-09-03 16:30:52
1.7K0
发布2020-09-03 16:30:52
举报
文章被收录于专栏:大数据杂货铺大数据杂货铺

Cloudera数据平台(CDP)私有云基础版是Cloudera数据平台的本地版本。该新产品结合了Cloudera Enterprise Data Hub和Hortonworks Data Platform Enterprise的优点以及整个堆栈中的新功能和增强功能。该统一分发是可扩展和可定制的平台,您可以在其中安全地运行多种类型的工作负载。

CDP私有云基础版支持多种混合解决方案,其中计算任务与数据存储分开,并且可以从远程集群访问数据。这种混合方法通过管理存储、表Schema、身份验证、授权和治理,为容器化应用程序提供了基础。

CDP私有云基础版由各种组件组成,例如Apache HDFS、Apache Hive 3、Apache HBase和Apache Impala,以及许多其他用于特殊工作负载的组件。您可以选择这些服务的任意组合来创建满足您的业务需求和工作负载的集群。几个预配置的服务包也可用于常见的工作负载。这些包括:

常规(基础)集群

数据工程

开发过程并提供预测模型。

服务包括:HDFS, YARN, YARN Queue Manager, Ranger, Atlas, Hive, Hive on Tez, Spark, Oozie, Hue, and Data Analytics Studio

数据集市

以交互方式浏览、查询和探索数据。

服务包括:HDFS,Ranger,Atlas,Hive和Hue

运营数据库

对现代数据驱动业务的实时见解。

服务包括:HDFS,Ranger,Atlas和HBase

自定义服务

选择您自己的服务。所选服务所需的服务将自动包括在内。

计算集群

数据工程

开发过程并提供预测模型。

服务包括:Spark, Oozie, Hive on Tez, Data Analytics Studio, HDFS, YARN, and YARN Queue Manager

Spark

Spark计算

服务包括:核心配置,Spark, Oozie, YARN, and YARN Queue Manager

数据集市

Impala计算

服务包括:核心配置,Impala和Hue

流式消息(简单)

简单的Kafka集群用于流消息传递

包括的服务:Kafka,Schema Registry和Zookeeper

流式消息(完整)

具有监视和复制服务的高级Kafka集群,用于流消息传递

包括的服务:Kafka, Schema Registry, Streams Messaging Manager, Streams Replication Manager, Cruise Control, and Zookeeper

自定义服务

选择您自己的服务。所选服务所需的服务将自动包括在内。

在安装CDP私有云基础版集群时,您将安装一个名为Cloudera Runtime的Parcel,其中包含所有组件。

除Cloudera Runtime组件外,CDP私有云基础版还包括功能强大的工具,可帮助您管理、治理和保护集群。

CDP私有云基础版的工具

Cloudera Manager

CDP-私有云基础版使用Cloudera Manager来管理一个或多个集群及其配置,并监视集群性能。您还可以使用Cloudera Manager来管理安装、升级、维护工作流、加密、访问控制和数据复制。在将来的版本中,您还将能够管理Cloudera Enterprise CDH集群。您还可以使用Cloudera Manager创建虚拟专用集群,该集群允许您将计算资源与数据存储区分开,并在计算资源之间共享数据存储。

Apache Atlas

CDP私有云基础版中还包括Apache Atlas,用于为您的数据提供管理。Apache Atlas用作通用的元数据存储,旨在在Hadoop堆栈内部和外部交换元数据。Atlas与Apache Ranger的紧密集成使您能够在Hadoop堆栈的所有组件之间一致地定义、管理和治理安全性和合规性策略。对于熟悉Cloudera Enterprise的客户,Apache Atlas取代了Cloudera Navigator Metadata Server。它提供以下功能:

  • 灵活的元数据模型
  • 使用模型属性、分类(标签)和自由文本的实体搜索
  • 基于应用于实体的流程的跨实体血缘

Apache Ranger

Apache Ranger为您的CDP-私有云基础版集群提供了审核、身份验证和授权功能。

Apache Ranger提供了一个集中式框架,用于收集访问审核历史记录和报告数据,包括过滤各种参数。Ranger增强了从Hadoop组件获得的审核信息,并通过此集中报告功能提供了见解。

Apache Ranger还通过用户界面管理访问控制,以确保跨CDP-私有云基础版组件进行一致的策略管理。安全管理员可以在数据库、表、字段和文件级别定义安全策略,还可以管理基于LDAP的特定组或单个用户的权限。也可以将基于动态条件(例如时间或地理位置)的规则添加到现有策略规则中。Ranger授权模型是可插入式的,并且可以使用基于服务的定义轻松扩展到任何数据源。

对于熟悉Cloudera Enterprise的客户,Apache Ranger取代了Sentry和Navigator Audit Server,并且还提供以下功能:

  • 更好的细粒度访问控制:

o 动态行过滤

o 动态列屏蔽

o 基于属性的访问控制

o SparkSQL细粒度的访问控制

  • 丰富的政策功能

o 允许/拒绝构造,自定义策略条件/上下文增强器,限时策略,Atlas集成(用于基于标签的策略)

o 具有丰富事件元数据的广泛访问审核

来源:https://docs.cloudera.com/cdp/latest/overview/topics/cdpdc-overview.html

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2020-08-31,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 大数据杂货铺 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Cloudera Manager
  • Apache Atlas
相关产品与服务
数据保险箱
数据保险箱(Cloud Data Coffer Service,CDCS)为您提供更高安全系数的企业核心数据存储服务。您可以通过自定义过期天数的方法删除数据,避免误删带来的损害,还可以将数据跨地域存储,防止一些不可抗因素导致的数据丢失。数据保险箱支持通过控制台、API 等多样化方式快速简单接入,实现海量数据的存储管理。您可以使用数据保险箱对文件数据进行上传、下载,最终实现数据的安全存储和提取。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档