您可以了解有关我们如何迁移到CDP的更多信息。 升级前的内部环境 成功升级到CDP私有云基础版的最重要步骤是了解您的环境。...尽管面临这些挑战，我们知道我们想进入CDP私有云基础版。升级之前，我们的集群正在运行CDH 5.16.2。对于我们所依赖的产品（例如HBase和Solr），我们在CDP的许多主要版本升级中也缺少创新。...我们在生产中进行了升级前的停机，以完成一些先决条件任务，例如在Master主机上进行数据库升级和操作系统升级。停机时间还使我们能够测试灾难恢复环境，在产品升级过程中，我们的24×7用户将与之交互。...我们使用Cloudera专业服务团队提供的模板快速构建了一个测试集群来运行我们的代码，以确保它可以在CDP上运行。...要计划升级或迁移到CDP私有云基础，请联系您的Cloudera客户团队，他们将安排一些时间与您一起探讨可用的选项。
Cloudera数据平台（CDP）私有云是用于集成分析和数据管理的最全面的本地平台。...在CDP 私有云 的最新版本中，我们引入了许多新功能和增强功能。在此博客文章中，我们希望分享Apache HBase（HBase1与HBase2）中可用的性能改进。...Manager服务器主机上（其他主机不需要）： 1) 在文本编辑器中打开文件/etc/default/cloudera-scm-server。...加载后，在开始工作负载测试之前，我们等待所有压缩操作完成。 CDH 5.16.3运行完成后，将CDP私有云7.1 HBase2干净安装，并在同一集群上重新生成数据。...*吞吐量（操作数/秒）=每秒操作数 CDP私有云7.1包括HBase2，而CDH 5.16.3包括HBase1。CDP私有云7.1和CDH5均已安装JDK 8。
CDP 私有云基础版是 Cloudera Data Platform (CDP) 的本地版本。...在公共云、多云和私有云部署上提供一致的体验 我们之前的一篇博客讨论了从传统平台到 CDP 私有云基础的四种途径。...请点击下面的link到YouTube上观看：如何从 HDP 升级到 CDP 就地升级概述 HDP3向 CDP 私有云基础过渡在准备集群升级（请参阅升级前阶段）后基本上涉及两个高级过程。...阶段1：升级前步骤 在继续升级之前，请查看文档中指定的 CDP 私有云基础先决条件。作为升级的起点，我们建议执行完整的集群运行状况检查（我们的专业服务团队也可以提供帮助）。...Cloudera Manager 安装和设置——这包括在所有主机上安装 Cloudera Manager Agent和安装 Cloudera Manager Server和数据库。
下载试用版 让我们从Cloudera 下载站点下载CDP Private Cloud Base 的试用版： 选择CDP 私有云，免费试用。...选择CDP 私有云基地，立即试用 选择试用版 CDP 私有云，立即试用 按照页面上提供的试用安装说明进行操作。 注意：在上一步中，我们故意让主节点的ssh连接保持打开状态。...选择确定退出 Cloudera Manager 安装程序。 在主节点的命令行中键入exit以关闭 ssh 连接。...进一步阅读 视频 混合云视频采集 所有CDP视频合集 博客 CDP私有云博客合集 混合云博客合集 其他 CDP 用户页面- 其他 CDP 资源，包括视频、教程、博客和活动 有一个问题？...加入Cloudera 社区 CDP 私有云文档 CDP 私有云产品页面 附录 A：卸载集群 当您准备好终止用于 Cloudera Data Platform Private Cloud Base（试用版
Cloudera Manager是一个用于管理、配置和监控CDP私有云基础集群和Cloudera Runtime服务的应用程序。...Cloudera Manager服务器在您的CDP私有云基础部署中的主机上运行，并使用在集群中每个主机上运行的Cloudera Manager代理管理一个或多个集群。...Cloudera Manager管理控制台是一个Web应用程序管理员，其他人可以用来管理CDP私有云基础部署。...角色-显示部署在每个主机上的角色。 主机模板-创建和管理主机模板，这些模板定义了可用于轻松扩展集群的角色组集。 磁盘概述-显示集群中所有磁盘的状态。...外部帐户-配置从云服务到Cloudera Manager的连接。 私有云：跳转到CDP私有云安装部署和管理页面。 ?
CDP 公共云的引入大大减少了您可以使用 Cloudera 的最新技术启动和运行的时间，无论是容器化数据仓库、机器学习、操作数据库或数据工程经验，还是基于虚拟机的多用途数据中心部署方式。...在 CDP 私有云中，在 RedHat OpenShift Kubernetes 集群上引入Cloudera Data Warehouse 和 Cloudera Machine Learning Experiences...意味着我们可以在一小时内在现有的 Base 集群上部署新的工作负载，但 CDP 私有云 Base 集群的安装却滞后了....CDP 私有云的自动化 今天，我们将发布基于 Ansible 的自动化公开版本，用于部署 CDP 私有云基础集群，该集群可以安装在数据中心或公共云中的裸机服务器或虚拟机上。...然而，这些剧本确实使用受支持的 Cloudera Manager 和 CDP API，因此在使用这些产品时出现问题时将提供支持。
在 Cloudera，我们一直相信自动化是交付安全、随时可用且配置良好的平台的关键。因此，我们很高兴地宣布公开发布基于 Ansible 的自动化来部署 CDP 私有云基础集群。.../centos7-init.sh 配置凭证 您可以在没有任何凭据的情况下运行，但理想情况下，我们将设置一个配置文件，其中包含云凭据（如果部署在公共云上）和 CDP 许可证文件（如果你想使用一个）的路径。...: "~/.ssh/mykey.pem" 以下方法描述了将 CDP 私有云部署到物理机或虚拟机上。...在某些情况下（可能是开发环境），可能需要在 EC2、Azure VM 或 GCE 上部署 CDP 私有云，但是应该注意的是，将 CDP 公共云用于任何公共云工作负载都具有显着的成本、性能和敏捷性优势....总结 在本博客中，我们介绍了如何将 CDP 私有云基础自动化部署到物理或虚拟机上的机制，也包括在公共云中部署。
介绍和基本原理 Cloudera发布的Cloudera的数据平台（CDP）私有云基础版为用户提供了下一代混合云架构。...私有云基础概览 CDP Private Cloud Base 是 Cloudera Data Platform 的本地部署版本，它结合了 Cloudera Enterprise Data Hub 和 Hortonworks...最好的 CDH 和 HDP，增加了分析和平台功能 用于CDP私有云的存储层，包括对象存储 Cloudera SDX 可在整个平台上实现一致的安全性和治理 用于尚未准备好用于云的工作负载的传统数据集群...Cloudera 支持在许可模式下使用 SELinux 运行 CDP 私有云集群，但是 Cloudera 不提供 SELinux 策略配置来启用强制模式。...在本系列博客文章的第 2 部分中，我们将仔细研究如何管理、监控和调整您的应用程序以从参考布局中受益。同时，您可以通过下载最新版本的 CDP 私有云基础版来开始使用。
CDP PvC Base 概览 什么是 CDP 私有云基础？ CDP 私有云基础是Cloudera的本地（裸机）产品、企业数据中心（Enterprise Data Hub）和 HDP 企业的演变。...CDP私有云基础是新产品还是CDH/HDP的下一个版本？ CDP 私有云基础 7.0 是一个新产品。...CDP 私有云基础 7.1.6 支持从 HDP 3 升级。 CDP私有云基础7.1.7支持从CDH6的升级。 CDP私有云基础有哪些可用文档？...CDP私有云基础操作指南：https://docs.cloudera.com/cdp-private-cloud-base/latest/howto-cloudera-manager.html CDP...到 CDP 私有云基础 7.1 CDP 私有云基础 7.0到 CDP 私有云基础 7.1 CDH6到CDP私有云基础7.1（在7.1.7版本支持） 可用的升级和迁移路径请参考：https://docs.cloudera.com
这是CDH/HDP/Apache Hadoop迁移到CDP系列的博客，如对迁移感兴趣，请关注该系列之前博客《使用 Replication Manager 迁移到CDP 私有云基础》、《将数据迁移到CDP...私有云基础的数据迁移用例》、《将Hive数据迁移到CDP》、《将 Kudu 数据迁移到 CDP》、《将 HBase 迁移到 CDP》、《将 Accumulo 迁移到 CDP》、《安全和治理迁移到CDP...但是，在协调器完成之前，与长时间运行的协调器相关联的操作不会清除。Cloudera 建议您使用空数据库为 CDP 配置 Oozie。要查看旧数据，您可以备份并对该数据运行 SQL 查询。...的主机上。...原文链接：https://docs.cloudera.com/cdp-private-cloud-upgrade/latest/data-migration/topics/cdp-data-migration-oozie-migration.html
我们最近的博客讨论了从传统平台到 CDP 私有云基础的四种途径。在本博客和随附的视频中，我们将深入探讨运行从 CDH5 或 CDH6 到 CDP 私有云基础的就地升级的机制。...在下面的视频中，我们将介绍从 CDH 到 CDP 私有云基础的完整的端到端升级。 步骤 1：准备升级 在继续升级之前，有必要查看文档中指定的先决条件。...在某些情况下，在 CDP 中将特定的旧组件替换为新的等效组件可能需要额外的代码更新才能与您的操作完全集成。...最后，我们还建议您对集群进行完整备份，包括： RDBMS ZooKeeper数据 HDFS 主节点数据目录 Navigator KMS、KTS 和 KeyHSM Cloudera Manager数据 CDH5...有关升级过程的其他信息，请参阅 CDP 私有云基础升级文档 Cloudera 升级指南伴侣 CDP 知识中心 原文作者：Tristan Stevens 原文链接：https://blog.cloudera.com
使用 DistCp 将数据从安全的 HDP 集群迁移到不安全的CDP 私有云基础集群 在运行 DistCp 以将数据从安全的 HDP 集群迁移到不安全的CDP 私有云基础集群之前，您必须允许hdfs用户在没有...在CDP 私有云基础集群上进行必要的配置更改。 CDP 私有云基础集群上的配置更改 在复制期间，必须跳过领域名称，并且只有指定的用户才能访问 HDP 集群。...执行以下步骤将 HDFS 数据从安全的 HDP 集群迁移到安全的CDP 私有云基础集群： HDP 集群和CDP 私有云基础 集群的配置变更 你必须使HDP集群和一些配置的变化CDP私有云的基础，你从HDP...在CDP 私有云基础集群上运行 DistCp 作业。...在 CDP 私有云基础集群上运行 DistCp 作业 在 HDP 集群和 CDP 私有云基础集群中进行所需的配置更改并配置用户以在这两个集群上运行 YARN 作业后，您可以运行 Hadoop DistCp
Cloudera数据平台（CDP）私有云基础版是Cloudera数据平台的本地版本。...在安装CDP私有云基础版集群时，您将安装一个名为Cloudera Runtime的Parcel，其中包含所有组件。...除Cloudera Runtime组件外，CDP私有云基础版还包括功能强大的工具，可帮助您管理、治理和保护集群。...CDP私有云基础版的工具 Cloudera Manager CDP-私有云基础版使用Cloudera Manager来管理一个或多个集群及其配置，并监视集群性能。...您还可以使用Cloudera Manager来管理安装、升级、维护工作流、加密、访问控制和数据复制。在将来的版本中，您还将能够管理Cloudera Enterprise CDH集群。
CDP-DC集群支持VPC（虚拟私有集群）的部署和使用方式，关于什么是VPC集群参考fayson的《0667-6.2.0-什么是Cloudera虚拟私有集群和SDX 》和《0685-6.2.0-什么是Cloudera...安装Parcel提示主机运行状况不良 Cloudera 安装Parcel提示主机运行状况不良 ? 解决方法 删除agent目录下面的cm_guid文件，并重启失败节点的agent服务恢复。...，以及适应CDP DC7的安装与使用。...5) 进到主界面变化也不大，主要是Cloudera的logo变成了黑色，与Cloudera主页的整体风格一致。 6) 在配置Cloudera Manager连接到数据库时的脚本有所变化。...9) 对于离线安装CDH6.0，分发Parcel出现hash校验失败的问题，是因为在CM6中修复了一个bug，让它不再忽略由http服务器发送的“Content-Encoding”的header信息，但是我们在
1.文档编写目的 在早些时间Cloudera已正式的发布CDS3《0814-基于CDP7.1.3的Spark3.0正式发布》。...在CDP私有云基础上，Spark3服务与现有的Spark2服务共存，两个服务的配置不冲突，可以共用共一个Yarn服务。...CDS3.2在支持GPU的同时，也引入了RAPIDS Accelerator for Apache Spark来加速CDP集群上Apache Spark3的性能。...本篇文章主要介绍如何在CDP集群中安装及使用Spark3。...4.Spark服务安装 1.安装CSD文件，将下载好的SPARK3_ON_YARN-3.2.0.3.2.7170.0-49.jar包上传至CM服务所在节点的/opt/cloudera/csd目录下，并修改文件属主及权限
CDH5/6到CDP的支持矩阵 源集群 支持的最低源 CM版本 支持的最低源 CDH版本 目标集群 RM上支持的服务 CDH 5CDH 6 6.3.0 5.10 CDP私有云基础7.0.3 HDFS、Sentry...to Ranger、Hive 外部表 CDP PvC Base的支持矩阵 源集群 支持的最低源CM 版本 支持的最低源 CDH版本 目标集群 RM上支持的服务 CDP私有云基础 7.1.1 7.1.1...CDP私有云基础 高密度文件系统Hive 外部表 Kerberos支持矩阵 在集群上使用 Kerberos 身份验证时，Replication Manager 支持以下复制方案： 安全源到安全目的地...RM端口要求 在 Replication Manager 中创建复制策略之前，请确保以下端口在源主机和CDP Private Cloud Base主机上是开放且可访问的，以允许源和目标 Cloudera...集群互信配置 如已配置互信，此步骤可跳过，否则HDFS复制和Hive 复制将时会提示认证失败，配置步骤如下(以下操作均为在目标CDP7.1.7集群上操作)： 在CM界面>HDFS>配置>搜索krb5
在公有云或者内外网环境中，Cloudera的平台产品CDH/CDP/HDP需要访问很多Web UI，但系统网络可能仅支持SSH访问(22端口)。...要访问Cloudera Manager（7180端口）或者其他服务，可以通过下列两种方式： 在客户端计算机上设置SOCKS（套接字安全协议）代理。Cloudera建议您使用此选项。...将CDP/CDP部署到公有云之后，将入站规则添加到公有云实例中的网络安全组。 配置SOCKS代理 SOCKS5协议是作为客户端和服务器进程实现的，它可以遍历IP网络防火墙。...您要代理的主机必须与您要连接的Cloudera服务位于同一网络上。例如，如果您使用的是Cloudera CDP/EDH产品，请通过隧道连接到Cloudera Manager主机。...有关Cloudera Manager，CDP组件，托管服务和第三方组件使用的端口的更多信息，请参阅Cloudera文档。
从CDH就地升级到CDP私有云基础版的高级升级过程。 ? 升级CDP私有云基础包括两个主要步骤，即升级Cloudera Manager和升级集群。...重要 在准备将Cloudera Manager实例的所有托管群集升级到Cloudera Runtime 7.1.1或更高版本之前，Cloudera建议保留在Cloudera Manager 5或6上。...从CDH就地升级到CDP私有云基础版具有以下高级工作流程： 准备升级： 查看升级所支持的升级路径 。 查看升级的要求和支持的版本 查看要升级到的CDP私有云基础版本的发行说明。...请参阅CDP私有云基础升级前过渡步骤 将Cloudera Manager升级到版本7.1.1或更高版本。...请参阅CDH到CDP私有云基础的升级后过渡步骤。 CDP私有云基础7.1中的组件更改 YARN Fair Scheduler被删除。
这是CDH/HDP/Apache Hadoop迁移到CDP系列的博客，如对迁移感兴趣，请关注该系列之前博客《使用 Replication Manager 迁移到CDP 私有云基础》、《将数据迁移到CDP...私有云基础的数据迁移用例》、《将Hive数据迁移到CDP》、《将 Kudu 数据迁移到 CDP》、《将 HBase 迁移到 CDP》。...有关更多信息，请参阅适用的文档： Cloudera Manager 5.1.6.x： 导出 Cloudera Manager 配置 Cloudera Manager 6.3.x：导出 Cloudera...在目标集群上安装和配置 Accumulo on CDP 服务。 将每个表导入目标集群。...原文链接：https://docs.cloudera.com/cdp-private-cloud-upgrade/latest/data-migration/topics/cdp-data-migration-accumulo.html
我们在Cloudera的流分析系列中介绍了《Cloudera中的流分析概览》、《SQL Stream Builder的概览》和《CSA的部署方案》，今天我们来进行下一个章节：CSA的安装部署。...支持矩阵 系统要求 在安装Cloudera Streaming Analytics之前，您应验证自己是否满足系统要求。除了CDP私有云基础，您还应该检查所需组件的最新受支持版本。...添加Flink服务到集群 您需要使用Cloudera Manager中的“添加服务”向导在群集上安装Flink服务。...在主屏幕上，选择集群右侧的下拉菜单，选择添加服务。 ? 从列表中，选择Flink作为服务类型，然后单击继续。 ? 将启动“添加服务”向导。...笔记 在用于提交Flink作业的同一台计算机上安装Flink、HDFS和YARN Gateway角色。Flink HistoryServer角色还取决于同一台计算机上是否具有HDFS客户端配置。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
