腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
Hadoop实操
专注Apache Hadoop,CDH和HDP的实操,如安装部署,安全配置,排障过程,经验分享,性能
专栏作者
举报
960
文章
2323590
阅读量
704
订阅数
订阅专栏
申请加入专栏
全部文章
hive
其他
github
专用宿主机
hadoop
大数据
kerberos
sql
https
数据库
spark
apache
git
hbase
node.js
云数据库 SQL Server
java
yarn
api
开源
kafka
python
parcel
http
编程算法
TDSQL MySQL 版
网络安全
jdbc
访问管理
存储
xml
腾讯云测试服务
shell
linux
jdk
bash
lucene/solr
bash 指令
ssh
mapreduce
dns
网站
负载均衡
html
打包
jar
windows
负载均衡缓存
zookeeper
postgresql
文件存储
tcp/ip
安全
oracle
容器
flink
机器学习
json
windows server
nginx
容器镜像服务
人工智能
数据分析
DNS 解析 DNSPod
javascript
深度学习
云推荐引擎
kubernetes
数据迁移
SSL 证书
企业
缓存
erp
anaconda
数据处理
tensorflow
scala
maven
神经网络
分布式
jvm
面向对象编程
unity
rpc
ntp
单片机
嵌入式
access
ide
unix
数据备份
yum
微信
数据
c++
jquery
全文检索
批量计算
云数据库 MySQL
ftp
物联网
sas
nat
腾讯云开发者社区
云数据库 postgresql
云计算
Elasticsearch Service
impala
session
配置
同步
云服务器
官方文档
ios
c 语言
php
go
actionscript
css
android
nosql
mvc
flask
eclipse
搜索引擎
ubuntu
centos
apt-get
spring
归档存储
云数据库 MongoDB
数据库一体机 TData
消息队列 CMQ 版
数据加密服务
流量服务
mongodb
vr 视频解决方案
express
devops
自动化
运维
html5
决策树
npm
grep
jenkins
spring cloud
socket编程
数据可视化
微服务
nest
任务调度
密钥管理服务
jupyter notebook
分类算法
ascii
ipv6
迁移
负载测试
智能客服机器人
数据湖
add
client
cloud
com
daemon
datasource
exit
grafana
host
io
kill
ldap
monitoring
openldap
private
project
replication
status
visualization
window
worker
部署
服务
集群
脚本
内存
生命周期
优化
主机
标签
搜索文章
搜索
搜索
关闭
5.16.2-如何制作ElasticSearch的Parcel和csd
parcel
github
git
开源
1.准备cloudera提供的parcel和csd校验工具cm_ext,具体步骤可在github上查看,地址:https://github.com/cloudera/cm_ext
Fayson
2020-08-03
916
0
Dolphin Scheduler秒级别工作流异常处理
https
网络安全
node.js
github
bash
Apache Dolphin Scheduler是一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
Fayson
2020-03-10
5.5K
0
0506-如何将Hue4.0版本中默认执行引擎设置为Hive而非Impala
hive
sql
github
git
开源
在登录Hue后默认加载的为Impala执行引擎,对于那些不使用Impala或者喜欢在Hue中使用Hive进行查询的人,还需要进行切换比较麻烦。本篇文章Fayson主要介绍如何在Hue4.0版中设置默认的SQL执行引擎。
Fayson
2019-11-28
1.6K
0
0514-Hive On Spark无法创建Spark Client问题分析
hive
yarn
node.js
spark
github
在集群中进行Hive-On-Spark查询失败,并在HiveServer2日志中显示如下错误:
Fayson
2019-11-28
7.6K
0
0515-如何对Cloudera Manager的数据库密码进行脱敏
数据库
sql
github
专用宿主机
git
通过Fayson前面的文章《0509-深入分析CDH的安装目录》,我们知道Cloudera Manager使用的数据库账号密码信息保存在/etc/cloudera-scm-server目录下的db.properties文件中,但打开该文件进行查看发现数据库的password选项为明文,所示:
Fayson
2019-11-28
1.1K
0
0529-5.15.0-这次玩儿大了,找不回了
大数据
api
kafka
github
hadoop
前两天客户问了一个问题,HDFS上删除的数据还能不能恢复?碰到这个问题第一反应“在执行命令的这个用户下垃圾回收站找到恢复不就的了?”,用户删除数据发现操作失误的时间并不长也没有超过垃圾回收站的清空时间,但是无论怎么找也找不到被删除的数据,这次真的玩儿大了。。。
Fayson
2019-11-28
1.2K
1
0533-6.1-如何使用Cloudera Manager启用YARN的HA
yarn
zookeeper
github
node.js
大数据
前面Fayson写过《6.1-如何使用Cloudera Manager启用HDFS的HA》,YARN的HA架构和HDFS的HA类似,需要启动两个ResourceManager,这两个ResourceManager会向ZooKeeper集群注册,通过ZooKeeper管理它们的状态(Active和Standby)并进行自动故障转移。本篇文章主要讲述如何使用Cloudera Manager启用YARN的HA。
Fayson
2019-11-28
800
0
0550-6.1-如何将普通用户增加到HDFS的超级用户组supergroup
linux
kerberos
大数据
访问管理
github
对于HDFS服务,hdfs默认是超级管理员用户,它的权限最大,可以说它就相当于Linux的root。hdfs用户默认对所有目录有所有权限,同时可以执行HDFS相关的管理员命令比如让HDFS进入安全模式。但我们有时会碰到需要配置另一个超级用户的情况,本文Fayson主要介绍如何将普通用户设置为HDFS的超级用户。
Fayson
2019-11-28
2.5K
0
0502-CDSW中访问Kerberos环境下的Kafka
kafka
kerberos
python
github
Fayson在前面的文章《0500-使用Python2访问Kerberos环境下的Kafka》和《0501-使用Python访问Kerberos环境下的Kafka(二)》中介绍了两种方式访问Kerberos环境下的Kafka。在前面文章的基础上Fayson介绍在CDSW访问Kerberos环境下的Kafka。
Fayson
2019-11-27
624
0
0535-5.15.0-Oozie中创建Ssh Action指定ssh端口号
ssh
打包
jar
apache
github
考虑到服务器的安装,有些系统管理员会将服务器默认的SSH端口修改其它端口,这时在Hue上创建Oozie Ssh Action的WorkFlow时无法指定服务器的SSH端口号,导致Ssh Action执行失败。本篇文章Fayson主要介绍如何让Oozie的Ssh Action支持端口指定。
Fayson
2019-11-27
1.5K
0
0715-6.2.0-用户有CREATE权限建表后无HDFS文件的ACL访问权限异常分析
大数据
云推荐引擎
hive
访问管理
github
在C6集群中使用hive管理员创建一个测试库acltest,将该库的CREATE权限赋予ldapff组。ldapff用户在该库下创建的表,在命令行使用hadoop命令没有权限访问该表的hdfs目录,提示没有权限访问。
Fayson
2019-10-23
1.2K
0
0705-5.16.2-HDFS文件浏览器异常分析
大数据
github
git
开源
根据异常提示,’ Index build failed for service hdfs’,可以知道是为服务HDFS创建索引失败,导致了进入HDFS的文件浏览器异常。无法进入HDFS的索引。这种情况考虑可能是Reports Manager的工作目录下的索引文件损坏,导致RM启动的时候创建索引失败。我们通过rebulid索引目录来进行异常排除。
Fayson
2019-09-26
1K
0
0687-5.16.1-Hive分桶问题
hive
sql
github
git
开源
在Hive中创建了一个分桶事务表TEST_TRANSACTIONAL,表结构如下:
Fayson
2019-08-21
577
0
0683-6.2.0-通过Nginx获取CDSW的登录信息-续-3
kerberos
nginx
github
git
开源
在上一篇文章《6.2.0-通过Nginx获取CDSW的登录信息(续2)》中,通过Nginx的配置进一步捕获了用户的一些操作,然后存入数据库中进行查询分析,具体是捕获了用户进行Kerberos认证的Principal,但是在后续使用过程中发现,在两个以上的用户进行登陆时,Kerberos和点击Share操作捕获的用户信息永远是最后登陆的那个用户,这样与实际需求不符合,没有捕获到实际进行Kerberos认证和点击Share操作的究竟是哪个用户,本文档针对这一情况进行完善。
Fayson
2019-08-06
448
0
0681-6.2.0-如何在HDFS自动创建用户主目录
大数据
github
git
开源
3.登陆Hue用管理员账号,点击管理用户,可以看到当前只有admin这一个用户存在
Fayson
2019-08-02
2.1K
0
0670-6.2.0-如何获取CDSW中每个Session输出的LiveLog日志
java
存储
api
github
git
一些用户为了方便管理和审计,需要将CDSW上所有用户启动Session时运行代码输出的信息获取到。那接下来Fayson主要介绍如何通过获取用户每个Session代码运行输出的详细LiveLog日志。
Fayson
2019-07-17
764
0
0668-6.2.0-如何在CDH6.2.0上卸载CDSW1.5
专用宿主机
hadoop
parcel
github
git
Fayson在上一篇文章中介绍了如何在CDH6.2中安装CDSW1.5,参考《0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5》,本文主要介绍如何卸载CDSW1.5。
Fayson
2019-07-15
559
0
0664-6.2.0-用户有CREATE权限建表后但无HDFS文件的ACL访问权限异常分析
大数据
云推荐引擎
hive
github
git
在C6集群中使用hive管理员创建一个测试库acltest,将该库的CREATE权限赋予ldapff组。ldapff用户在该库下创建的表,在命令行使用hadoop命令没有权限访问该表的hdfs目录,提示没有权限访问。
Fayson
2019-07-09
585
0
0662-6.2.0-CDSW集成Active Directory后登录异常分析
数据库
sql
github
腾讯云测试服务
git
Fayson在前面的文章《09-如何为CDSW集成Active Directory认证》,在CDSW集成AD后,有部分用户登录时提示“Email address is invalid.”
Fayson
2019-07-05
587
0
0649-6.1.1-在C6集群中CDSW的Terminal执行hadoop命令异常分析
面向对象编程
hadoop
github
git
开源
Fayson在CDH6.1.1集群中安装了CDSW1.5,启动一个Session在会话的Terminal执行hadoop命令报如下错误:
Fayson
2019-06-17
1.6K
0
点击加载更多
社区活动
Python精品学习库
代码在线跑,知识轻松学
点击查看
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
立即参加
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档