Hadoop技术资料汇总（不断更新中）
这些资料都是我在工作中学习、解决问题的资料汇总，我不能保证这里罗列的所有资料对看到的人有用，但大部分都经过我的实际验证。在不断学习和实践过程中，我会不断更新和总结这些资料，同时欢迎大家留言交流。感谢这些资料的作者。
一、HDFS
1、集群安装：
2、NameNode：
3、DataNode：
4、权限管理：
5、数据平衡：
How does the HDFS balancer work internally?
HDFS Commands, HDFS Permissions and HDFS Storage
HORTONWORKS官方文档：Balancing in HDFS
6、集群治理：
NameNode Analytics: PayPal’s Big Data Guardian
7、问题汇总：
（1）Hadoop Non DFS Used大小问题：
Hadoop hdfs界面：Hadoop Non DFS Used大小问题
关于hadoop hdfs中Non DFS Used占用很大的问题分析处理
（2）小文件处理：
（3）Namenode写Journalnode超时，导致Namenode挂掉的问题：
Namenode写Journalnode超时，导致Namenode挂掉的问题
java.io.IOException: Timed out waiting 20000ms for a quorum of nodes to respond
关于机房交换机故障导致HDFS NameNode挂掉的问题（续）
Timed out waiting 20000ms for a quorum of nodes to respond
Standby NameNode is faling and only one is running
8、其他：
（1）Hadoop学习之路（十二）分布式集群中HDFS系统的各种角色
（2）监控相关：
二、YARN
1、调度队列：
Hadoop多用户资源管理–Fair Scheduler介绍与配置
Yarn公平调度器Fair Scheduler根据用户组分配资源池
【Free Style】Hadoop-Yarn之Resource Manager源码分析(四)
2、NodeManager：
3、ResourceManger：
4、监控：
5、问题汇总：
（1）资源不足、任务资源分配不合理、队列资源分配不合理引起的资源预留问题：
What is Memory reserved on Yarn
Aggregate Resource Allocation for a job in YARN
（2）任务kill：
YARN批处理方式kill Applications解决方案
（3）Flink实时计算集群：ZooKeeper闪断导致的YARN任务状态不一致引起的RM崩溃问题：
NullPointerException in RM HA enabled 3-node cluster
NPE happened when RM restart after CapacityScheduler queue configuration changed
Flink on YARN with HA enabled crashes all RMs on attempt restoration
6、其他：
Yarn: Application Id - How is it generated ?
三、集群维护
关于DataNode更改IP地址后所可能引发HDFS集群状态变化的分析
四、博客&文章
2、过往记忆
4、石杉的架构笔记：
大规模集群下Hadoop NameNode如何承载每秒上千次的高并发访问
【性能优化的秘密】Hadoop如何将TB级大文件的上传性能优化上百倍
五、参考书籍
深度剖析Hadoop HDFS，林意群 著
Hadoop技术内幕：深入解析YARN架构设计与实现原理，董西成 著
大数据日知录，张俊林著
六、其他
1、Hadoop源码编译：
（1）环境准备：
- Mac安装protobuf 流程
- How to install Autoconf, Automake and related tools on Mac OS X from source?，执行如下命令安装：
brew install autoconf automake libtool（2）编译：
Hadoop工程根目录下的BUILDING.txt中Maven build goals部分列出了编译Hadoop源码要用的maven命令，以下是参考文章：
编译命令：
mvn clean package -Pdist,native -DskipTests -Dtar（3）问题解决：
腾讯云开发者
