首页
学习
活动
专区
工具
TVP
发布

Hadoop实操

专注Apache Hadoop,CDH和HDP的实操,如安装部署,安全配置,排障过程,经验分享,性能
专栏作者
960
文章
2323590
阅读量
704
订阅数
5.16.2-如何制作ElasticSearch的Parcel和csd
1.准备cloudera提供的parcel和csd校验工具cm_ext,具体步骤可在github上查看,地址:https://github.com/cloudera/cm_ext
Fayson
2020-08-03
9160
Dolphin Scheduler秒级别工作流异常处理
Apache Dolphin Scheduler是一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
Fayson
2020-03-10
5.5K0
0506-如何将Hue4.0版本中默认执行引擎设置为Hive而非Impala
在登录Hue后默认加载的为Impala执行引擎,对于那些不使用Impala或者喜欢在Hue中使用Hive进行查询的人,还需要进行切换比较麻烦。本篇文章Fayson主要介绍如何在Hue4.0版中设置默认的SQL执行引擎。
Fayson
2019-11-28
1.6K0
0514-Hive On Spark无法创建Spark Client问题分析
在集群中进行Hive-On-Spark查询失败,并在HiveServer2日志中显示如下错误:
Fayson
2019-11-28
7.6K0
0515-如何对Cloudera Manager的数据库密码进行脱敏
通过Fayson前面的文章《0509-深入分析CDH的安装目录》,我们知道Cloudera Manager使用的数据库账号密码信息保存在/etc/cloudera-scm-server目录下的db.properties文件中,但打开该文件进行查看发现数据库的password选项为明文,所示:
Fayson
2019-11-28
1.1K0
0529-5.15.0-这次玩儿大了,找不回了
前两天客户问了一个问题,HDFS上删除的数据还能不能恢复?碰到这个问题第一反应“在执行命令的这个用户下垃圾回收站找到恢复不就的了?”,用户删除数据发现操作失误的时间并不长也没有超过垃圾回收站的清空时间,但是无论怎么找也找不到被删除的数据,这次真的玩儿大了。。。
Fayson
2019-11-28
1.2K1
0533-6.1-如何使用Cloudera Manager启用YARN的HA
前面Fayson写过《6.1-如何使用Cloudera Manager启用HDFS的HA》,YARN的HA架构和HDFS的HA类似,需要启动两个ResourceManager,这两个ResourceManager会向ZooKeeper集群注册,通过ZooKeeper管理它们的状态(Active和Standby)并进行自动故障转移。本篇文章主要讲述如何使用Cloudera Manager启用YARN的HA。
Fayson
2019-11-28
8000
0550-6.1-如何将普通用户增加到HDFS的超级用户组supergroup
对于HDFS服务,hdfs默认是超级管理员用户,它的权限最大,可以说它就相当于Linux的root。hdfs用户默认对所有目录有所有权限,同时可以执行HDFS相关的管理员命令比如让HDFS进入安全模式。但我们有时会碰到需要配置另一个超级用户的情况,本文Fayson主要介绍如何将普通用户设置为HDFS的超级用户。
Fayson
2019-11-28
2.5K0
0502-CDSW中访问Kerberos环境下的Kafka
Fayson在前面的文章《0500-使用Python2访问Kerberos环境下的Kafka》和《0501-使用Python访问Kerberos环境下的Kafka(二)》中介绍了两种方式访问Kerberos环境下的Kafka。在前面文章的基础上Fayson介绍在CDSW访问Kerberos环境下的Kafka。
Fayson
2019-11-27
6240
0535-5.15.0-Oozie中创建Ssh Action指定ssh端口号
考虑到服务器的安装,有些系统管理员会将服务器默认的SSH端口修改其它端口,这时在Hue上创建Oozie Ssh Action的WorkFlow时无法指定服务器的SSH端口号,导致Ssh Action执行失败。本篇文章Fayson主要介绍如何让Oozie的Ssh Action支持端口指定。
Fayson
2019-11-27
1.5K0
0715-6.2.0-用户有CREATE权限建表后无HDFS文件的ACL访问权限异常分析
在C6集群中使用hive管理员创建一个测试库acltest,将该库的CREATE权限赋予ldapff组。ldapff用户在该库下创建的表,在命令行使用hadoop命令没有权限访问该表的hdfs目录,提示没有权限访问。
Fayson
2019-10-23
1.2K0
0705-5.16.2-HDFS文件浏览器异常分析
根据异常提示,’ Index build failed for service hdfs’,可以知道是为服务HDFS创建索引失败,导致了进入HDFS的文件浏览器异常。无法进入HDFS的索引。这种情况考虑可能是Reports Manager的工作目录下的索引文件损坏,导致RM启动的时候创建索引失败。我们通过rebulid索引目录来进行异常排除。
Fayson
2019-09-26
1K0
0687-5.16.1-Hive分桶问题
在Hive中创建了一个分桶事务表TEST_TRANSACTIONAL,表结构如下:
Fayson
2019-08-21
5770
0683-6.2.0-通过Nginx获取CDSW的登录信息-续-3
在上一篇文章《6.2.0-通过Nginx获取CDSW的登录信息(续2)》中,通过Nginx的配置进一步捕获了用户的一些操作,然后存入数据库中进行查询分析,具体是捕获了用户进行Kerberos认证的Principal,但是在后续使用过程中发现,在两个以上的用户进行登陆时,Kerberos和点击Share操作捕获的用户信息永远是最后登陆的那个用户,这样与实际需求不符合,没有捕获到实际进行Kerberos认证和点击Share操作的究竟是哪个用户,本文档针对这一情况进行完善。
Fayson
2019-08-06
4480
0681-6.2.0-如何在HDFS自动创建用户主目录
3.登陆Hue用管理员账号,点击管理用户,可以看到当前只有admin这一个用户存在
Fayson
2019-08-02
2.1K0
0670-6.2.0-如何获取CDSW中每个Session输出的LiveLog日志
一些用户为了方便管理和审计,需要将CDSW上所有用户启动Session时运行代码输出的信息获取到。那接下来Fayson主要介绍如何通过获取用户每个Session代码运行输出的详细LiveLog日志。
Fayson
2019-07-17
7640
0668-6.2.0-如何在CDH6.2.0上卸载CDSW1.5
Fayson在上一篇文章中介绍了如何在CDH6.2中安装CDSW1.5,参考《0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5》,本文主要介绍如何卸载CDSW1.5。
Fayson
2019-07-15
5590
0664-6.2.0-用户有CREATE权限建表后但无HDFS文件的ACL访问权限异常分析
在C6集群中使用hive管理员创建一个测试库acltest,将该库的CREATE权限赋予ldapff组。ldapff用户在该库下创建的表,在命令行使用hadoop命令没有权限访问该表的hdfs目录,提示没有权限访问。
Fayson
2019-07-09
5850
0662-6.2.0-CDSW集成Active Directory后登录异常分析
Fayson在前面的文章《09-如何为CDSW集成Active Directory认证》,在CDSW集成AD后,有部分用户登录时提示“Email address is invalid.”
Fayson
2019-07-05
5870
0649-6.1.1-在C6集群中CDSW的Terminal执行hadoop命令异常分析
Fayson在CDH6.1.1集群中安装了CDSW1.5,启动一个Session在会话的Terminal执行hadoop命令报如下错误:
Fayson
2019-06-17
1.6K0
点击加载更多
社区活动
Python精品学习库
代码在线跑,知识轻松学
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档