腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Hadoop实操

专注Apache Hadoop，CDH和HDP的实操，如安装部署，安全配置，排障过程，经验分享，性能

专栏作者

964

文章

2345793

阅读量

704

订阅数

5.16.2-如何制作ElasticSearch的Parcel和csd

parcel github git 开源

1.准备cloudera提供的parcel和csd校验工具cm_ext，具体步骤可在github上查看，地址：https://github.com/cloudera/cm_ext

2020-08-03

9300

0506-如何将Hue4.0版本中默认执行引擎设置为Hive而非Impala

hive sql github git 开源

在登录Hue后默认加载的为Impala执行引擎，对于那些不使用Impala或者喜欢在Hue中使用Hive进行查询的人，还需要进行切换比较麻烦。本篇文章Fayson主要介绍如何在Hue4.0版中设置默认的SQL执行引擎。

2019-11-28

1.6K0

0515-如何对Cloudera Manager的数据库密码进行脱敏

数据库 sql github 专用宿主机 git

通过Fayson前面的文章《0509-深入分析CDH的安装目录》，我们知道Cloudera Manager使用的数据库账号密码信息保存在/etc/cloudera-scm-server目录下的db.properties文件中，但打开该文件进行查看发现数据库的password选项为明文，所示：

2019-11-28

1.1K0

0705-5.16.2-HDFS文件浏览器异常分析

大数据 github git 开源

根据异常提示，’ Index build failed for service hdfs’，可以知道是为服务HDFS创建索引失败，导致了进入HDFS的文件浏览器异常。无法进入HDFS的索引。这种情况考虑可能是Reports Manager的工作目录下的索引文件损坏，导致RM启动的时候创建索引失败。我们通过rebulid索引目录来进行异常排除。

2019-09-26

1K0

0687-5.16.1-Hive分桶问题

hive sql github git 开源

在Hive中创建了一个分桶事务表TEST_TRANSACTIONAL，表结构如下：

2019-08-21

5850

0683-6.2.0-通过Nginx获取CDSW的登录信息-续-3

kerberos nginx github git 开源

在上一篇文章《6.2.0-通过Nginx获取CDSW的登录信息(续2)》中，通过Nginx的配置进一步捕获了用户的一些操作，然后存入数据库中进行查询分析，具体是捕获了用户进行Kerberos认证的Principal，但是在后续使用过程中发现，在两个以上的用户进行登陆时，Kerberos和点击Share操作捕获的用户信息永远是最后登陆的那个用户，这样与实际需求不符合，没有捕获到实际进行Kerberos认证和点击Share操作的究竟是哪个用户，本文档针对这一情况进行完善。

2019-08-06

4490

0681-6.2.0-如何在HDFS自动创建用户主目录

大数据 github git 开源

3.登陆Hue用管理员账号，点击管理用户，可以看到当前只有admin这一个用户存在

2019-08-02

2.1K0

0670-6.2.0-如何获取CDSW中每个Session输出的LiveLog日志

java 存储 api github git

一些用户为了方便管理和审计，需要将CDSW上所有用户启动Session时运行代码输出的信息获取到。那接下来Fayson主要介绍如何通过获取用户每个Session代码运行输出的详细LiveLog日志。

2019-07-17

7710

0668-6.2.0-如何在CDH6.2.0上卸载CDSW1.5

专用宿主机 hadoop parcel github git

Fayson在上一篇文章中介绍了如何在CDH6.2中安装CDSW1.5，参考《0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5》，本文主要介绍如何卸载CDSW1.5。

2019-07-15

5620

0664-6.2.0-用户有CREATE权限建表后但无HDFS文件的ACL访问权限异常分析

大数据云推荐引擎 hive github git

在C6集群中使用hive管理员创建一个测试库acltest，将该库的CREATE权限赋予ldapff组。ldapff用户在该库下创建的表，在命令行使用hadoop命令没有权限访问该表的hdfs目录，提示没有权限访问。

2019-07-09

5990

0662-6.2.0-CDSW集成Active Directory后登录异常分析

数据库 sql github 腾讯云测试服务 git

Fayson在前面的文章《09-如何为CDSW集成Active Directory认证》，在CDSW集成AD后，有部分用户登录时提示“Email address is invalid.”

2019-07-05

5920

0649-6.1.1-在C6集群中CDSW的Terminal执行hadoop命令异常分析

面向对象编程 hadoop github git 开源

Fayson在CDH6.1.1集群中安装了CDSW1.5，启动一个Session在会话的Terminal执行hadoop命令报如下错误：

2019-06-17

1.6K0

0653-5.16.1-Hive Staging目录占用大量HDFS空间问题分析

sql hive hadoop github git

在HDFS上有许多Hive Staging目录，占用了大量的空间，有些目录占用的空间甚至比原始表还大，如下截图显示：

2019-06-17

2.6K0

0646-6.1.1-如何查看CDSW中其它用户创建的Public工程

unix http github git 开源

在CDSW中A用户创建的Public工程，B用户登录后无法查看A用户创建的Public工程，CDSW上也没有菜单能够查看其它用户创建的Public工程。本篇文章Fayson主要介绍如何查看CDSW中其它用户创建的Public工程。

2019-06-03

5630

0640-6.1.1-Hue上SQL查询结果显示不全异常分析-补充

hive github sql git 开源

2.准备数据并导入到该Hive表中，注意我们准备的数据第四个字段即s4的值特别长，约有5000多个字符。

2019-05-29

1.2K0

6.1.1-Hue上SQL查询结果显示不全异常分析

hive sql hadoop github git

2.准备数据并导入到该Hive表中，注意我们准备的数据第四个字段即s4的值特别长，约有5000多个字符。

2019-05-22

3.8K3

0629-6.2-如何使用CM API接口获取集群所有节点内存和磁盘使用情况

api github hadoop git 开源

大家也知道Cloudera Manager提供了丰富的监控指标，部分客户也有自己统一的监控平台，需要将CM上的监控指标集成到统一的监控平台上，因此可以通过提供的API接口获取监控指标，本篇文章Fayson主要介绍如何通过CM API接口获取集群所有节点内存和磁盘使用情况。如下图所示：

2019-05-16

4.6K1

0620-5.16.1-如何设置MR作业的Map或Reduce日志级别

yarn node.js mapreduce github git

在Hadoop集群有大量的MapReduce作业，为了分析定位作业的问题需要考虑输出Map或Reduce的详细日志，通过作业的详细的日志更快速的定位问题并解决，同样也可以通过配置日志输出级别而减少日志量。本篇文章Fayson主要介绍如何通过Cloudera Manager配置MapReduce作业的Map、Reduce、ApplicationMaster的日志级别。

2019-05-14

1.9K0

0606-6.1.0-NodeManager丢失文件启动失败异常分析

yarn node.js hadoop github git

/var/lib/hadoop-yarn/yarn-nm-recovery/yarn-nm-state目录：

2019-05-07

1.7K0

0565-6.1.0-NFS异常导致Host Monitor及Agent服务错误

hadoop github 腾讯云测试服务 git 开源

如果CDH集群中的节点上有挂载NFS到某个目录，当NFS服务异常导致该目录不可用时，Cloudera Management Service的Host Monitor服务可能会抛出以下错误：

2019-04-29

1.6K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态