腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
Hadoop实操
专注Apache Hadoop,CDH和HDP的实操,如安装部署,安全配置,排障过程,经验分享,性能
专栏成员
举报
974
文章
2438989
阅读量
707
订阅数
订阅专栏
申请加入专栏
全部文章(974)
hive(209)
其他(200)
github(175)
专用宿主机(165)
hadoop(161)
大数据(141)
kerberos(120)
sql(115)
https(99)
数据库(98)
spark(96)
apache(70)
git(56)
hbase(54)
node.js(53)
云数据库 SQL Server(52)
java(49)
yarn(49)
开源(47)
api(46)
kafka(38)
python(35)
parcel(34)
http(31)
编程算法(30)
TDSQL MySQL 版(29)
存储(29)
网络安全(28)
jdbc(26)
访问管理(25)
xml(23)
腾讯云测试服务(23)
shell(22)
linux(21)
jdk(21)
bash(20)
lucene/solr(17)
bash 指令(17)
ssh(17)
mapreduce(15)
dns(15)
网站(14)
负载均衡(13)
html(13)
打包(13)
jar(13)
安全(13)
windows(13)
postgresql(12)
负载均衡缓存(12)
zookeeper(12)
文件存储(11)
tcp/ip(11)
数据(11)
容器(10)
oracle(9)
flink(9)
机器学习(8)
json(8)
windows server(8)
nginx(8)
容器镜像服务(8)
人工智能(7)
数据分析(7)
DNS 解析 DNSPod(6)
javascript(6)
深度学习(6)
云推荐引擎(6)
kubernetes(6)
数据迁移(6)
SSL 证书(5)
企业(5)
缓存(5)
erp(5)
anaconda(5)
数据处理(5)
tensorflow(4)
scala(4)
maven(4)
神经网络(4)
分布式(4)
jvm(4)
面向对象编程(4)
unity(4)
rpc(4)
ntp(4)
配置(4)
单片机(3)
嵌入式(3)
access(3)
ide(3)
unix(3)
数据备份(3)
yum(3)
微信(3)
c++(2)
jquery(2)
全文检索(2)
批量计算(2)
云数据库 MySQL(2)
ftp(2)
物联网(2)
sas(2)
nat(2)
腾讯云开发者社区(2)
云数据库 postgresql(2)
云计算(2)
Elasticsearch Service(2)
impala(2)
session(2)
string(2)
对象(2)
服务(2)
集群(2)
接口(2)
客户端(2)
内存(2)
同步(2)
文件系统(2)
云服务器(1)
官方文档(1)
ios(1)
c 语言(1)
php(1)
go(1)
actionscript(1)
css(1)
android(1)
nosql(1)
mvc(1)
flask(1)
eclipse(1)
搜索引擎(1)
ubuntu(1)
centos(1)
apt-get(1)
spring(1)
归档存储(1)
云数据库 MongoDB(1)
数据库一体机 TData(1)
消息队列 CMQ 版(1)
数据加密服务(1)
流量服务(1)
mongodb(1)
vr 视频解决方案(1)
express(1)
devops(1)
自动化(1)
运维(1)
html5(1)
决策树(1)
npm(1)
grep(1)
jenkins(1)
spring cloud(1)
socket编程(1)
数据可视化(1)
微服务(1)
nest(1)
任务调度(1)
密钥管理服务(1)
jupyter notebook(1)
分类算法(1)
ascii(1)
ipv6(1)
迁移(1)
负载测试(1)
智能客服机器人(1)
数据湖(1)
add(1)
client(1)
cloud(1)
com(1)
daemon(1)
databricks(1)
datasource(1)
dfs(1)
eof(1)
exit(1)
gateway(1)
grafana(1)
h2(1)
hana(1)
hdfs(1)
heap(1)
host(1)
io(1)
kill(1)
ldap(1)
monitoring(1)
mysql(1)
openldap(1)
private(1)
project(1)
queue(1)
replication(1)
sap(1)
status(1)
tabular(1)
visualization(1)
window(1)
worker(1)
布局(1)
部署(1)
测试(1)
队列(1)
管理(1)
架构(1)
脚本(1)
开发(1)
连接(1)
命令行(1)
生命周期(1)
协议(1)
性能(1)
异常(1)
优化(1)
主机(1)
标签(1)
搜索文章
搜索
搜索
关闭
0901-安装Python3.8
数据库
anaconda
sql
云数据库 SQL Server
parcel
CDP7.1.8及更高版本中Hue使用Python3环境,因此必须在集群的所有节点安装Python3.8。同时还必须为PostgreSQL、MySQL或MariaDB数据库安装相应的驱动包,确保Hue通过驱动包可以正常的访问数据库,如下操作步骤主要基于CentOS7版本:
Fayson
2022-12-14
867
0
0896-Cloudera Parcels介绍
parcel
Parcel是一种二进制分发格式,包含程序文件以及Cloudera Manager使用的其它元数据。安装包和Parcel之间的重要区别是: Parcel会被独立的安装在一个显示版本的文件夹中,这意味着你可以并行安装多个版本的Parcel。然后你在使用的时候将其中一个安装版本指定为活动版本。如果使用安装包的话,一次只能安装一个包,所以安装的包和活动的包没有区别。 滚动升级需要Parcels。 你可以在文件系统中的任何位置安装Parcel,它们默认安装在/opt/cloudera/parcels中。相反,软件包
Fayson
2022-09-19
2.2K
0
0892-7.1.7-如何将CDP从7.1.7升级到7.1.8
专用宿主机
parcel
python
jdk
1.Cloudera升级概述 CDP作为一个软件系统,安装成功后主要包含三部分:Cloudera Manager Server,Cloudera Manager Agent以及CDH Parcel,所以CDP的升级也主要是包含这三部分的升级。一般来说是先通过操作系统的Package升级Cloudera Manager,然后通过Parcel升级CDH即可以完成整个集群的升级。CDH和Cloudera Manager不用同时升级,但是需要保证Cloudera Manager和CDH版本的兼容,具体的版本兼容情况
Fayson
2022-09-08
1.3K
0
0876-7.1.7-如何在CDP中部署Flink1.14
flink
大数据
parcel
1.文档编写目的 本篇文章主要介绍如何在CDP 7.1.7集群中使用Parcel的方式安装Flink1.14。 测试环境 1.操作系统CentOS7.9 2.CDP7.1.7 3.使用root用户操作 2.安装Flink 1.准备好Flink的安装包,从以下地址下载 csd文件 https://archive.cloudera.com/p/csa/1.6.2.0/csd/FLINK-1.14.0-csa1.6.2.0-cdh7.1.7.0-551-23013538.jar Parcel相关文件 https
Fayson
2022-04-15
1.7K
1
0873-7.1.7-如何在CDP集群中安装Spark3
jdk
spark
parcel
apache
hive
1.文档编写目的 在早些时间Cloudera已正式的发布CDS3《0814-基于CDP7.1.3的Spark3.0正式发布》。在CDP私有云基础上,Spark3服务与现有的Spark2服务共存,两个服务的配置不冲突,可以共用共一个Yarn服务。Spark History服务的端口是Saprk2的18088和Spark3的18089。CDS3.2在支持GPU的同时,也引入了RAPIDS Accelerator for Apache Spark来加速CDP集群上Apache Spark3的性能。本篇文章主要介绍
Fayson
2022-04-08
2.4K
1
0843-7.1.6-如何在CDP中部署Flink1.12
flink
大数据
parcel
专用宿主机
本篇文章主要介绍如何在CDP 7.1.6集群中使用Parcel的方式安装Flink1.12。
Fayson
2021-07-05
1K
0
0818-7.1.1-如何卸载CDP
parcel
大数据
以上三种方法也可以只使用于关键数据,具体使用哪种方法,可以根据自己集群的规模和数据量大小具体选择。
Fayson
2020-11-30
1.1K
0
5.16.2-如何制作ElasticSearch的Parcel和csd
parcel
github
git
开源
1.准备cloudera提供的parcel和csd校验工具cm_ext,具体步骤可在github上查看,地址:https://github.com/cloudera/cm_ext
Fayson
2020-08-03
970
0
5.16.2-如何在CDH中安装ElasticSearch
jquery
Elasticsearch Service
parcel
http
apache
1.将csd文件ELK-YX-20200617-1.0-SNAPSHOT.jar放置在cloudera-scm-server服务的csd目录下
Fayson
2020-08-03
2K
1
0776-6.2.0-如何在CDH6.2.0上安装CDSW1.6
dns
DNS 解析 DNSPod
专用宿主机
parcel
windows server
本篇文章主要介绍如何在CDH6.2.0上通过parcel包的方式安装CDSW1.6。
Fayson
2020-05-29
1.4K
0
0774-5.16.1-如何将CDSW从1.6升级到1.7
kubernetes
parcel
目前CDSW的最新版本是1.7.1,此版本仅支持从1.5.x和1.6.x升级,其他更低的版本需要先升级到1.5.x或1.6.x,然后再升级到1.7.1。本文档将介绍如何基于CDH5.16.1将CDSW从1.6升级到1.7.1。
Fayson
2020-05-26
1.2K
0
0772-1.7.2-如何让CDSW的PySpark自动适配Python版本
parcel
anaconda
专用宿主机
python
spark
在CDH集群中Spark2的Python环境默认为Python2,CDSW在启动Session时可以选择Engine Kernel版本Python2或者Python3。当选择Python3启动Session时,开发PySpark作业在运行时会报“Python in worker has different version 2.7 than that in driver 3.6, PySpark cannot run with different minor versions.Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set”,为解决Python版本适配的问题,需要进行如下调整来使我们的应用自动的适配Python版本。
Fayson
2020-05-25
1.3K
0
0750-7.0.3-如何在CDP DC7.0.3集群部署Flink1.9.1
大数据
parcel
企业
专用宿主机
在前面的文章中,Fayson介绍了《如何获得Cloudera的Flink Parcel包》和《如何在Redhat7.6中安装CDP DC7.0.3》,基于前面的集群环境,本篇文章Fayson主要介绍如何在CDP DC7.0.3集群中使用Parcel的方式安装Flink1.9.1。
Fayson
2020-02-24
1.1K
0
0727-6.3.0-在CDH上运行你的第一个Flink例子
大数据
parcel
kafka
apache
专用宿主机
Cloudera Data Flow(CDF)作为Cloudera一个独立的产品单元,围绕着实时数据采集,实时数据处理和实时数据分析有多个不同的功能模块,如下图所示:
Fayson
2019-11-11
5.8K
7
0726-6.3.0-如何在CDH6.3中安装Streams Messaging Manager(SMM)
kafka
parcel
node.js
专用宿主机
npm
Cloudera在2019年9月18日正式对外宣布发布Cloudera Stream Processing(CSP)2.0,参考《Cloudera Streams Management正式GA》。Cloudera Stream Processing (CSP)提供了高级消息传递,流处理和流分析功能,这些功能由Apache Kafka作为核心流处理引擎提供支持。它同时为Kafka添加了两个流管理功能,Kafka监控和Kafka数据复制。Streams Messaging Manager(SMM)为Kafka集群提供了一个监控仪表板。Streams Replication Manager(SRM)为企业提供了实现跨集群Kafka topic复制的能力。
Fayson
2019-11-09
1.7K
0
0725-5.16.2-如何卸载CDH5.16.2
专用宿主机
parcel
Fayson在两年前的文章中介绍过CDH的卸载,参考《0008-如何卸载CDH(附一键卸载github源码)V1.2》,《0609-6.1.0-如何卸载CDH6.1》和《0621-6.2.0-如何卸载CDH6.2》。除非你是使用Cloudera官方提供的一键安装脚本安装的CDH,否则并没有现成的一键卸载的脚本供使用。
Fayson
2019-11-09
851
0
0723-6.2.0-如何在RedHat7.2使用rpm安装CDH(有CM)
专用宿主机
yum
parcel
数据库
sql
在之前的文档《0722-6.2.0-如何在RedHat7.2使用rpm安装CDH(无CM)》中介绍了如何在CM上使用rpm的方式安装CDH6.2.0集群,本文档将介绍如何在CM上使用rpm的方式安装CDH6.2.0集群。
Fayson
2019-11-06
970
0
0669-6.2.0-集群中部分节点hadoop命令无法使用问题分析
hadoop
专用宿主机
parcel
在做CDH版本降级(C62.0->C5.16.1)测试的过程中,集群中有两个节点上运行的角色(DataNode、NodeManager等)服务均正常。但在该节点上无法执行hadoop等相关命令,提示如下错误:
Fayson
2019-07-15
995
0
0668-6.2.0-如何在CDH6.2.0上卸载CDSW1.5
专用宿主机
hadoop
parcel
github
git
Fayson在上一篇文章中介绍了如何在CDH6.2中安装CDSW1.5,参考《0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5》,本文主要介绍如何卸载CDSW1.5。
Fayson
2019-07-15
581
0
0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5
dns
专用宿主机
DNS 解析 DNSPod
parcel
windows server
Cloudera在2019年1月29日发布CDSW1.5,CDSW1.5的一个最大的更新就是支持CDH6和HDP,在1.5之前,CDSW是不能安装到CDH6.x的。CDH5.13版本以后支持CDSW的Parcel安装,本篇文章Fayson就主要讲述如何通过CM6.2使用Parcel包安装CDSW1.5。
Fayson
2019-07-09
1.2K
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档