腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Hadoop实操

专注Apache Hadoop，CDH和HDP的实操，如安装部署，安全配置，排障过程，经验分享，性能

专栏作者

970

文章

2355408

阅读量

704

订阅数

0892-7.1.7-如何将CDP从7.1.7升级到7.1.8

专用宿主机 parcel python jdk

1.Cloudera升级概述 CDP作为一个软件系统，安装成功后主要包含三部分：Cloudera Manager Server，Cloudera Manager Agent以及CDH Parcel，所以CDP的升级也主要是包含这三部分的升级。一般来说是先通过操作系统的Package升级Cloudera Manager，然后通过Parcel升级CDH即可以完成整个集群的升级。CDH和Cloudera Manager不用同时升级，但是需要保证Cloudera Manager和CDH版本的兼容，具体的版本兼容情况

2022-09-08

1.2K0

0875-7.1.7-如何在CentOS7.9中安装CDP Base

专用宿主机 jdk ntp http 数据库

1.文档编写目的本文档Fayson主要描述如何在CentOS7.9安装CDP Base7.1.7。CDP Base7与CDH5/6的安装步骤一致，主要包括以下四部分： 1.安全前置准备，包括安装操作系统、关闭防火墙、同步服务器时钟等； 2.外部数据库如MySQL安装 3.安装Cloudera Manager； 4.安装CDH集群；测试环境 1.CM7.4.4+CDH7.1.7 2.CentOS7.9 3.OpenJDK1.8 4.MariaDB-5.5.64 5.root用户安装前置准备 2.1 ho

2022-04-13

1.9K0

0873-7.1.7-如何在CDP集群中安装Spark3

jdk spark parcel apache hive

1.文档编写目的在早些时间Cloudera已正式的发布CDS3《0814-基于CDP7.1.3的Spark3.0正式发布》。在CDP私有云基础上，Spark3服务与现有的Spark2服务共存，两个服务的配置不冲突，可以共用共一个Yarn服务。Spark History服务的端口是Saprk2的18088和Spark3的18089。CDS3.2在支持GPU的同时，也引入了RAPIDS Accelerator for Apache Spark来加速CDP集群上Apache Spark3的性能。本篇文章主要介绍

2022-04-08

2.3K1

0753-6.3.3-如何在Redhat7.6安装CDH6.3.3

CDH6.3.3于2020年2月4日发布，从该版本开始，Cloudera将不再提供CDH免费版，用户只能通过试用或者购买正式许可证才能够下载CDH安装包及使用，参考《0743-Cloudera Enterprise 6.3.3发布》。这篇文档主要介绍了在Redhat7.6环境下安装CDH6.3.3集群的详细步骤。

2020-02-24

2.4K1

0497-如何将Kerberos的CDH6.1从Oracle JDK 1.8迁移至OpenJDK 1.8

jdk oracle 专用宿主机 java hadoop

受前段时间Oracle官宣的从2019年1月之后将不再提供免费的的JDK商业版本的影响，Cloudera开始开发基于OpenJDK的Hadoop平台，参考Fayson之前的文章《Java收费，Hadoop怎么办？》。今年11月29日，Cloudera才发布不久的CDH5.16.1正式提供OpenJDK的支持，参考Fayson之前的文章《0466-CDH5.16.1和CM5.16.1的新功能》和《0486-如何将Kerberos的CDH5.16.1从Oracle JDK 1.8迁移至OpenJDK 1.8》。同时12月19日发布的《0487-CDH6.1的新功能》和《0488-Cloudera Manager6.1的新功能》，也开始支持OpenJDK。本文Fayson主要介绍如何将CDH6.1从Oracle JDK迁移到OpenJDK。

2019-11-28

1.1K0

0728-6.3.0-如何在Redhat7.4安装CDH6.3

专用宿主机 jdk ntp http 数据库

Cloudera在2019年7月31日，对外宣布正式发布Cloudera Enterprise 6.3，相关介绍可以参考Fayson之前的文章《0682-Cloudera Enterprise 6.3.0发布》，《0717-6.3.0-Cloudera Manager 6.3的新功能》和《0718-6.3.0-CDH6.3的新功能》。本文档Fayson主要描述如何在Redhat7.4安装CDH6.3。CDH6与CDH5的安装步骤一致，主要包括以下四部分：

2019-11-12

1.4K0

0696-5.16.1-如何使用SAS连接CDH5.16.1集群的Hive和Impala

sas kerberos hive jdk 专用宿主机

SAS提供了从基本统计数的计算到各种试验设计的方差分析，相关回归分析以及多变数分析的多种统计分析过程，几乎囊括了所有最新分析方法，其分析技术先进，可靠。分析方法的实现通过过程调用完成。许多过程同时提供了多种算法和选项。Cloudera与SAS是相互认证的合作伙伴，在各自的官网都能找到集成安装的专业文档，也能得到专业的支持。本文主要介绍SAS的安装，并通过SAS访问Kerberos和非Kerberos环境下的Hive和Impala。

2019-09-04

1.5K0

0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件

jdk 编程算法 kerberos oracle java

默认情况下， CentOS和RedHat5.5或更高的版本中，对Kerberos 票证使用AES-256加密，因此必须在集群所有节点的JDK中安装Java Cryptography Extension（JCE）无限制强度加密策略文件。在安装JCE文件的Kerberos集群中，服务启动时会报“java.security.InvalidKeyException: Illegal key size”异常。本篇文章Fayson主要介绍使用不同方式安装JCE加密策略文件以及如何禁用Kerberos的AES-256加密。

2019-08-12

1.1K0

0682-Cloudera Enterprise 6.3.0发布

spark 专用宿主机 kafka kerberos jdk

Cloudera于7月31日宣布正式发布CDH6.3，此版本提供了许多新功能，改进了可用性，性能提升以及对更现代的Java和身份管理基础设施软件的支持(Free IPA)。

2019-08-06

1.3K0

0623-6.2.0-如何在CDH中安装CFM

专用宿主机 apache 数据分析 parcel jdk

2019年4月15日，Cloudera在其官网宣布GA两款新的产品Cloudera Flow Management和Cloudera Edge Management，即CFM和CEM。Flow Management和Edge Management以前都是隶属于HDP的相关产品，Cloudera此次官宣代表的是它们现在可以与CDH一起安装并使用，包括使用Cloudera Manager进行简易的Parcel安装和服务监控。HDP和CDH合并后，对于CDH的客户也一直期待HDP的一些优秀特性能早点融合到CDH中，CEM和CFM就是一次开始，它们为IOT场景的边缘管理和边缘数据搜集带来了可能。具体参考《0603-Cloudera Flow Management和Cloudera Edge Management正式发布》。

2019-05-15

2.3K0

0610-6.2.0-如何在Redhat7.4安装CDH6.2

专用宿主机 jdk ntp http 数据库

Cloudera在2019年3月30日，对外宣布正式发布Cloudera Enterprise 6.2，相关介绍可以参考Fayson昨天的文章《0585-Cloudera Enterprise 6.2.0发布》，《0589-Cloudera Manager6.2的新功能》和《0595-CDH6.2的新功能》。本文档Fayson主要描述如何在Redhat7.4安装CDH6.2。CDH6与CDH5的安装步骤一致，主要包括以下四部分：

2019-05-13

2.5K0

0594-6.1.0-如何从CDH6.1.0升级到CDH6.2.0

专用宿主机数据备份数据库 sql jdk

Fayson在前面的文章中详细介绍过CDH的升级，参考《如何升级Cloudera Manager和CDH》，对于小版本的滚动升级，也有专门的一篇文章介绍，参考《0284-CDH集群跨多版本滚动升级》。但以前的版本都是基于CDH5，本文主要是描述如何从CDH6.1升级到CDH6.2。

2019-04-29

1.8K0

0593-CDH5与CDH6对比

专用宿主机 jdk hadoop

Cloudera于2018年8月30日正式发布CDH6.0.0，至2019年2月19日，最新的迭代版本为CDH6.1.1，可能马上就会发布CDH6.2。CDH6是基于Hadoop3同时包含大量其他组件的大版本更新的发布版本，许多用户考虑到未来CDH的版本主要是基于C6，而CDH5会慢慢的停止更新，所以考虑新搭集群使用CDH6，或者想把已有的CDH5集群升级到CDH6。第一个问题就是需要考虑CDH5和CDH6的差别，通过分析一些差异看能否将已有的应用迁移或者直接部署到CDH6，兼容性稳定性是否存在问题等。出于这个目的，本文会从各个方面详细比较CDH5和CDH6的差别，从而让用户能够进行正确的判断并进行相应的选择。以下内容主要基于最新的CDH5.16.1和CDH6.1.1进行比较。最后再次强调，没有最好的技术，也没有最新的技术就是最好的，永远只有最合适的技术。

2019-04-28

7.5K1

0578-5.15.1-Kerberos环境下Java应用程序认证超时异常分析

rpc jdk java kerberos hadoop

在Kerberos环境中，我们的应用程序通过Java代码来提交任务需要先进行Kerberos凭证的初始化然后进行应用程序的提交，本文档主要讲述Java应用程序长时间运行作业Kerberos不自动重新认证问题

2019-04-28

2.7K0

0486-如何将Kerberos的CDH5.16.1从Oracle JDK 1.8迁移至OpenJDK 1.8

jdk oracle 专用宿主机 java hadoop

受前段时间Oracle官宣的从2019年1月之后将不再提供免费的的JDK商业版本的影响，Cloudera开始开发基于OpenJDK的Hadoop平台，参考Fayson之前的文章《Java收费，Hadoop怎么办？》。今年11月29日，Cloudera才发布不久的CDH5.16.1正式提供OpenJDK的支持，参考Fayson之前的文章《0466-CDH5.16.1和CM5.16.1的新功能》。本文Fayson主要介绍如何将CDH从Oracle JDK迁移到OpenJDK。

2018-12-29

1.1K0

0487-CDH6.1的新功能

北京时间2018年12月19日，Cloudera正式发布Cloudera Enterprise 6.1.0，上次发布CDH6.0是8月30日，差不多过去了3个多月的时间，参考Fayson之前的文章《Cloudera Enterprise 6正式发布》。从CDH6.0到CDH6.1是一次minor version的更新，但更新内容较多，在开始接下来的细化功能讨论前，我们先看看几项重点更新的内容：

2018-12-29

2.4K0

0491-如何在Redhat7.4安装CDH6.1

Cloudera在前天12月19日，对外宣布正式发布Cloudera Enterprise 6.1，相关介绍可以参考Fayson昨天的文章《0487-CDH6.1的新功能》和《0488-Cloudera Manager6.1的新功能》。本文档Fayson主要描述如何在Redhat7.4安装CDH6.1。CDH6与CDH5的安装步骤一致，主要包括以下四部分：

2018-12-29

1.8K0

0466-CDH5.16.1和CM5.16.1的新功能

erp jdk java hadoop oracle

Fayson在2018年的6月15日介绍了《CDH5.15和CM5.15的新功能》，今天11月29日，Cloudera正式发布CDH5.16.1。从5.15到5.16，差不多等待了5个月，当然Cloudera在期间还发布了CDH6正式版，随后发布CDH6.0.1，参考《Cloudera Enterprise 6正式发布》。我们注意到这次CDH新版本的发布，没有5.16.0而直接是5.16.1，具体原因未知。

2018-12-21

1.3K0

Java收费，Hadoop怎么办？

java hadoop oracle jdk eclipse

我们知道，前几天Oracle官宣对 Java 8 的官方支持时间持续到 2020 年 12 月，之后将不再为个人桌面用户提供 Oracle JDK 8 的修复更新；在 2019 年 1 月之后，不再提供免费的商业版本更新，届时想要继续获得 Oracle 的商业支持和维护，需付费订阅。不过开发者还可以选择由第三方服务商提供的 Java SE 实现，比如 Azul、Eclipse、IBM、Red Hat、Oracle、SAP 等等。具体参考：

2018-11-16

2.8K0

如何通过CM升级Kafka0.11及Spark2.2

kafka spark parcel 专用宿主机 jdk

在前面的文章《CDH5.13和CM5.13的新功能》中Fayson介绍过Cloudera发布CDH5.13时，同时也发布了Kafka3.0版本（即社区0.11版），目前社区最新版本为1.0。由于Kafka3.0和Spark2.2需要JDK8的支持，所以在升级Kafka3.0和Spark2.2版本时必须先升级JDK版本，可以参考《如何将CDH集群JAVA升级至JDK8》和《如何将Kerberos环境下CDH集群JAVA升级至JDK8》，本文Fayson主要介绍在CDH集群中如何升级Kakfa3.0和Spark2.2。

2018-03-29

1.8K0

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态