CDP 私有云基础是Cloudera的本地(裸机)产品、企业数据中心(Enterprise Data Hub)和 HDP 企业的演变。CDP Private Cloud Base 7.1 包括 Cloudera Runtime 7.1,它将 CDH 和 HDP 的优点结合到一个发行版中。CDP私有云基础为客户提供以下服务:
CDP全称是Cloudera Data Platform,是Cloudera的新一代数据平台。该平台适用于IT和业务的大数据平台,支持
Cloudera Runtime 是一个目前由 39 个开源项目组成的发行版。CDP Private Cloud Base 是一个完整的产品,它包括一个控制平面 (Cloudera Manager),用于在 Cloudera Runtime 中部署、配置、管理和保护各种组件。
CDP 私有云基础 7.0 是一个新产品。CDP 私有云基础 7.1.1 将提供从 CDH 5.13 - 5.16 和 HDP 2.6.5 到此新产品的升级和迁移功能以及一些新功能。
CDP 私有云基础 7.1.6 支持从 HDP 3 升级。
CDP私有云基础7.1.7支持从CDH6的升级。
概览:https://docs.cloudera.com/cdp-private-cloud/latest/overview/topics/cdppvc-overview.html
CDP私有云基础概览:https://docs.cloudera.com/cdp-private-cloud/latest/overview/topics/cdpdc-overview.html
原地升级指南:https://docs.cloudera.com/cdp-private-cloud/latest/upgrade.html
工作负载迁移指南:https://docs.cloudera.com/cdp-private-cloud/latest/migrate.html
CDP私有云基础功能概念:https://docs.cloudera.com/cdp-private-cloud-base/latest/concepts-cloudera-manager.html
CDP私有云基础操作指南:https://docs.cloudera.com/cdp-private-cloud-base/latest/howto-cloudera-manager.html
CDP私有云基础故障排除:https://docs.cloudera.com/cdp-private-cloud-base/latest/security-troubleshooting/topics/cm-security-misc.html
参考:
https://docs.cloudera.com/cdp-private-cloud-base/latest/runtime-release-notes/topics/rt-pvc-runtime-component-versions.html
Component | CDP Private Cloud Base 7.1 |
|---|---|
Cloudera Manager (incl. BDR) | Y |
Ambari | Replaced with CM |
Hadoop (HDFS, MapReduce, YARN) | Y |
YARN Scheduler | Capacity Scheduler |
Hive | Y |
LLAP | Private Cloud 1.0+ |
Tez | Y |
Spark | Y |
Livy | Y |
Impala | Y |
Kafka | Y |
Kudu | Y |
Solr (Cloudera Search) | Y |
Hue | Y |
HBase | Y |
HBase Indexer (HBase Solr) | Y |
Accumulo | 7.1 [separate parcel] |
Phoenix | Y |
Sentry | Replaced with Ranger |
Ranger | Y |
Ranger KMS | Y |
Navigator | Replaced with Atlas |
Java KeyStore KMS | Y |
Key Trustee Server | 7.1 [separate parcel] |
Key Trustee KMS | 7.1 [separate parcel] |
HSM KMS | Removed |
Key HSM | Y |
Navigator Encrypt | Y |
Atlas | Y |
Zookeeper | Y |
Oozie | Y |
Sqoop | Y |
Pig | Removed |
Parquet | Y |
Avro | Y |
ORC | Y |
Ozone | Y |
Hive Warehouse Connector | Y |
Zeppelin | Y |
Knox | Y |
Flume | Removed |
Storm | Removed |
Arrow | Not included |
SMM | Y |
SRM | Y |
Schema Registry | Y |
Crunch | Not included |
Ranger 和 Atlas 分别取代了 Sentry 和 Navigator。请参阅https://docs.cloudera.com/cdp/latest/upgrade-cdh/topics/cdpdc-sentry-pre-upgrade-migration-to-ranger.html 和https://docs.cloudera.com/cdp-private-cloud/latest/upgrade-cdh/topics/cdpdc-configure-oracle-ranger.html
YARN 已经转向独立于 CM 的队列管理方法。 YARM 队列管理器将支持容量调度程序。
CDP Private Cloud Base 仅支持 Cloudera Manager。 作为迁移或升级 CDP 私有云基础的一部分,HDP 用户将迁移到 CM。
是的,您可以迁移或升级到 CDP Private Cloud Base 7.1。 CM 7.1 将成为 CDP Private Cloud Base 7.1 的一部分。
是的,您可以迁移或升级到 CDP Private Cloud Base 7.1。
AM2CM 工具以正式发布,支持Ambari到Cloudera Manager的迁移。
2020 年底将停止支持 HDP 2.6.5 和 CDH 5.13 - 5.16。2021年底将停止支持HDP3.2022年3月底将停止支持CDH6.
https://www.cloudera.com/legal/policies/support-lifecycle-policy.html
他们应该审查他们所使用的当前版本。 CDP Private Cloud Base 7.1 支持以下升级路径
可用的升级和迁移路径请参考:https://docs.cloudera.com/cdp-private-cloud/latest/upgrade/topics/cdpdc-cdp-upgrade-migrations-paths.html
使用 CDH 5.13 - 5.16 的经典 CDH 客户将升级 Cloudera Manager,然后将 Cloudera Run Time 升级到 7.1。工具可用于支持类似于 CDH 升级的流程、迁移配置和授权策略。这包括用于 Sentry-to-Ranger 策略、Navigator-to-Atlas 元数据、KMS-to-RangerKMS 和 YARN FairScheduler 到 CapacityScheduler 配置的转换工具。详情请参考:https://docs.cloudera.com/cdp-private-cloud/latest/upgrade-cdh/topics/cdpdc-cdh-overview.html
使用经典的HDP2.6.5 客户将升级 Ambari,然后将 Cloudera Run Time 安装到 7.1。完成后,集群管理器将切换到 Cloudera Manager。工具可用于支持类似于 HDP 升级的流程、迁移配置和授权策略,直到集群管理器切换。详情请参考:https://docs.cloudera.com/cdp-private-cloud/latest/upgrade-hdp/topics/amb-hdp-cdp-upg.html
使用经典的HDP3 客户将升级 Ambari,然后将 Cloudera Run Time 安装到 7.1。完成后,集群管理器将切换到 Cloudera Manager。工具可用于支持类似于 HDP 升级的流程、迁移配置和授权策略,直到集群管理器切换。详情请参考:https://docs.cloudera.com/cdp-private-cloud/latest/upgrade-hdp3/topics/amb3-hdp-cdp-upg.html
Flume 在 CDP Private Cloud Base 7.1 中不可用。推荐的路径是使用 Apache Nifi,但是,如果仍然需要 Flume 并得到客户的坚持,它可以在没有支持的情况下运行,或者请 Cloudera PS 寻求帮助。
CDP 中不存在 Apache Pig。 Apache Pig 旨在简化编写 MR 作业的过程。 Apache Spark 和 Apache Hive 已经取代了对 Pig 的需求,因此建议客户迁移到 Apache Spark。
如果客户坚持需要 Pig,则客户需要在 MapReduce 上下载、编译和运行 Apache Pig。然而,这是不受支持的。
也可以通过Cloudera的PS利用工具将Pig程序转换成Spark程序,用于后续使用。
CDP Private Cloud Base 使用 KT KMS 来帮助升级/迁移 CDH 客户,使用迁移实用程序读取 Keytrustee kms-acls.xml 并将其导入 Ranger 兼容策略。 升级过程看起来像

升级完成后,不再使用KT KMS。
NavEncrypt 7.1 可以从以下位置下载https://www.cloudera.com/downloads/navigator/encrypt/7-1-0.html.
Key Trustee Server 可以从以下位置下载
https://www.cloudera.com/downloads/navigator/key-trustee-server/7-1-0.html
Ranger KMS 基于 Hadoop KMS。
Ranger 通过 Ranger 管理门户提供对密钥管理服务器的集中管理。Ranger KMS 可从 CDP Private Cloud Base 7.1.1 获得。
Ranger KMS 使用 Key Trustee Server 作为后备密钥库。
需要先配置 Key Trustee Server。
