Hadoop实操

专注Apache Hadoop,CDH和HDP的实操,如安装部署,安全配置,排障过程,经验分享,性能
454 篇文章
213 人订阅

全部文章

Fayson

0462-如何在Hue中创建Shell Action工作流续

Fayson在前面的文章《Hue中使用Oozie创建Shell工作流在脚本中切换不同用户》,里面介绍了Shell Action的创建,在文中我们相应的Shell...

566
Fayson

【简报】CDH和HDP的合并提前终止反垄断法的等待期

2018年11月19日,Cloudera和Hortonworks联合宣布,美国联邦贸易委员会(the U.S. Federal Trade Commission...

542
Fayson

如何使用Cloudera Manager为Hadoop服务角色启用远程JMX访问

JMX(Java Management Extensions,即Java管理扩展)做Java开发的人都比较熟悉,它提供了一种在运行时动态资源的监控指标。JMX主...

542
Fayson

0457-如何使用Cloudera Manager手动收集诊断包

如果您拥有Cloudera Enterprise许可证,那么我们就能借助于Cloudera Manager提供的收集集群诊断包功能,通过Cloudera的后台S...

393
Fayson

0458-Hive数据类型校验问题分析

使用Hive时大家都会遇到数据类型校验的问题,相比传统关系型数据库会严格要求数据的Schema,数据的列数、每一列的字段类型都有严格的规定,因此数据的存储必须按...

493
Fayson

0459-如何使用SQuirreL通过JDBC连接CDH的Hive(方式一)

SQuirreL SQL Client是一个使用Java写的访问各种数据库客户端工具,使用JDBC统一了数据库的访问接口,通过SQuirreL SQL Clie...

212
Fayson

0461-CDH6.0扩容异常分析

1.在CDH6.0中,点击“主机”->“所有主机”->“向群集添加新主机”,会出现异常如下:

422
Fayson

0460-HDFS纠删码的机架感知

Fayson在前面的文章中对Hadoop3的新特性之一纠删码进行过介绍,参考《什么是HDFS的纠删码》,后面又对纠删码的使用进行了实操,参考《如何在CDH6.0...

542
Fayson

0462-Hadoop和大数据要完蛋了吗?

几个星期以前,Hadoop时代的两大巨头Cloudera和Hortonworks宣布他们将合并。该公告声称这将是“merger of equals(平等的合并)...

614
Fayson

如何使用Java访问非Kerberos环境的HBase

在前面的文章Fayson介绍了《如何使用Java连接Kerberos的HBase》,虽然非Kerberos环境下访问HBase比较简单,本篇文章Fayson还是...

1293
Fayson

如何在Hadoop中处理小文件-续

Fayson在前面的文章《如何在Hadoop中处理小文件》和《如何使用Impala合并小文件》中介绍了什么是Hadoop中的小文件,以及常见的处理方法。这里Fa...

1986
Fayson

Hive作业产生的临时数据占用HDFS空间大问题处理

Hive作业在运行时会在HDFS的临时目录产生大量的数据文件,这些数据文件会占用大量的HDFS空间。这些文件夹用于存储每个查询的临时或中间数据集,并且会在查询完...

1013
Fayson

答应我,别在CDH5中使用ORC好吗

当我们在使用ORC文件格式创建Hive表,并且对Hive表的schema进行更改后,然后进行如insert into…select或insert overwri...

1683
Fayson

如何在Kerberos环境下修改启用HA的CDH集群HOSTNAME

Fayson在前面的文章《如何修改Kerberos的CDH集群的HOSTNAME》介绍了修改集群的HOSTNAME,在文章中并未提到集群启用HA的情况,本篇文章...

941
Fayson

如何为Spark应用启用Kerberos的Debug日志

在CDH集群启用了Kerberos后,在执行Spark作业时难免会遇到由于Kerberos认证问题导致作业运行失败的时候,那我们需要针对Spark作业进行调试,...

962
Fayson

如何在Kerberos环境的CDH集群外跨OS版本中在指定目录配置HDFS的Gateway节点

在前面的文章Fayson介绍了《如何在CDH集群外配置非Kerberos环境的Gateway节点》和《如何在CDH集群外配置Kerberos环境的Gateway...

991
Fayson

Cloudera产品支持生命周期策略

本文主要介绍Cloudera企业版产品支持的生命周期,包括CDH每个版本终止支持的预计日期。了解该策略主要是方便大家在规划搭建/升级CDH集群时的版本选择,不代...

922
Fayson

CM上HDFS容量显示与实际命令不一致问题分析

使用hadoop fs -du –h /命令查看HDFS的使用情况,HDFS的使用为41.63GB

591
Fayson

如何使用Cloudera Manger自定义部署Parcel包

我们知道包括CDH其他所有额外的服务或者第三方插件,Cloudera Manger都是以Parcel的形式来安装和管理,Parcel是一个非常神奇和方便的东西,...

1713
Fayson

Impala动态资源池及放置规则使用

Fayson在前面的文章介绍了《如何启用Impala的动态资源池》。管理员可以通过Impala的动态资源池、放置规则及ACL控制不同的用户对Impala资源使用...

852

扫码关注云+社区