Hadoop总结（面试题）

怎么理解分布式？

分布式是将资源分布存储或者分布计算的统称,分布式是指资源不再单一的再单独的服务器上进行存储或者计算, 而是通过很多服务器来进行存储或者计算

hadoop 的组成部分 HDFS 分布式文件存储系统 管理者：NameNode 工作者：DataNode 辅助者：SecondayNameNode

MapReduce 分布式离线存储框架

Yarn Hadoop资源调度器
	管理者：ResourceManager
	工作者：NodeManager

HDFS副本存放机制

第1个副本存放在客户端，如果客户端不在集群内，就在集群内随机挑选一个合适的节点进行存放；
第2个副本存放在与第1个副本同机架且不同节点，按照一定的规则挑选一个合适的节点进行存放；
第3个副本存放在与第1、2个副本不同机架且距第1个副本逻辑距离最短的机架，按照一定的规则挑选一个合适的节点进行存放；

Namenode作用

一:管理维护文件系统的元数据/名字空间/目录树 二:管理DataNode汇报的心跳日志/报告 三:客户端和DataNode之间的桥梁（元数据信息共享）

DataNode作用

一:负责数据的读写操作 二:周期性的向NameNode汇报心跳日志/报告 三:执行数据流水线的复制

什么是机架感知？ 通俗的来说就是nameNode通过读取我们的配置来配置各个节点所在的机架信息

什么时候会用到机架感知？ NameNode分配节点的时候

HDFS数据写入流程？ 一:client 发起文件上传请求，通过 RPC 与 NameNode 建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传； 二:client 请求第一个 block 该传输到哪些 DataNode 服务器上； 三:NameNode 根据配置文件中指定的备份数量及副本放置策略进行文件分配，返回可用的 DataNode 的地址，如：A，B，C 四:client 请求 3 台 DataNode 中的一台 A 上传数据（本质上是一个 RPC 调用，建立 pipeline），A 收到请求会继续调用 B，然后 B 调用 C，将整个pipeline 建立完成，后逐级返回 client； 五:client 开始往 A 上传第一个 block（先从磁盘读取数据放到一个本地内存缓存），以 packet 为单位（默认 64K），A 收到一个 packet 就会传给 B，B 传给 C；A 每传一个 packet 会放入一个应答队列等待应答 六:数据被分割成一个个 packet 数据包在 pipeline 上依次传输，在pipeline 反方向上，逐个发送 ack（命令正确应答），最终由 pipeline中第一个 DataNode 节点 A 将 pipeline ack 发送给 client; 七:当一个 block 传输完成之后，client 再次请求 NameNode 上传第二个block 到服务器

HDFS数据读取流程？ 一:client 发起文件读取请求通过RPC与NameNode建立通讯,nameNode检查文件位置,来确定请求文件 block 所在的位置 二:NameNode会视情况返回文件的部分或者全部block列表，对于每个block，NameNode 都会返回含有该 block 副本的 DataNode 地址； 三:这些返回的 DN 地址，会按照集群拓扑结构得出 DataNode 与客户端的距离，然后进行排序，排序两个规则：网络拓扑结构中距离 Client 近的排靠前；心跳机制中超时汇报的 DN 状态为 STALE，这样的排靠后； 四:Client 选取排序靠前的 DataNode 来读取 block，如果客户端本身就是DataNode,那么将从本地直接获取数据 五:底层上本质是建立 Socket Stream（FSDataInputStream），重复的调用父类 DataInputStream 的 read 方法，直到这个块上的数据读取完毕； 六:当读完列表的 block 后，若文件读取还没有结束，客户端会继续向NameNode 获取下一批的 block 列表； 七:读取完一个 block 都会进行 checksum 验证，如果读取 DataNode 时出现错误，客户端会通知 NameNode，然后再从下一个拥有该 block 副本的DataNode 继续读。 八:read 方法是并行的读取 block 信息，不是一块一块的读取；NameNode 只是返回Client请求包含块的DataNode地址，并不是返回请求块的数据；最终读取来所有的 block 会合并成一个完整的最终文件。

HDFS数据完整性如何保证？ 数据写入完毕以后进行校验 数据读取之前进行校验 对此判断是否有数据丢失 nameNode与DataNode会定期通过文件的校验和检查文件的完整性,如果发现某节点上的某文件校验和不一致,会从其他节点上恢复损失的文件,从而保证数据的完整性

HDFS 特性？ 1、 存储海量数据：HDFS可横向扩展，其存储的文件可以支持PB级数据 2、容错性高：数据保存多个副本，副本丢失后自动恢复。 可构建在廉价（与小型机大型机对比）的机器上，实现线性扩展。（随着节点数量的增加，集群的性能-计算性能和 存储性能都会有所增加） 当集群增加新节点之后，namenode也可以感知，进行负载均衡，将数据分发和备份数据均衡到新的节点上。（负 载均衡：集群可将原本使用容量较高的节点上的数据自动写入新的节点上，达到所有节点容量均匀）每个节点磁盘使 用容量百分比的差异可以人工设置。 3、大文件存储： 数据分块存储，将一个大块的数据切分成多个小块的数据。

HDFS缺点？

1、不能做到低延迟数据访问：HDFS针对一次性获取大量的数据做了优化，牺牲了小数据量快速查询的性能。
2、多次写入，一次读取（擅长：HDFS适合一次写入，多次读取的场景。）
3、不支持多用户并发写入一个文本
4、不适合大量的小文件存储
	存储大量小文件的话，它会占用NameNode大量的内存来存储文件、目录和块信息。这样是不可取的，因为NameNode的内存总是有限的

什么时候进入安全模式？

在集群重启（二次启动）的时候
人为进入

安全模式有什么特点？

安全模式中只能读取数据，不能修改数据

在安全模式下集群在做什么？

在安全模式下集群在进行恢复元数据，即在合并fsimage和edits log，并且接受datanode的心跳信息，
恢复block的位置信息，将集群恢复到上次关机前的状态

如何进入/退出安全模式？

进入:hdfs dfsadmin -safemode enter 退出:hdfs dfsadmin -safemode leave

Fsimage 和 Edits 的多用是什么？

fsimage存储的是系统最近一次关机前的集群镜像, edits是客户端对HDFS文件系统的所有操作日志 集群恢复到上次关机前的状态

什么时候会使用Fsimage Edits？

1.在集群二次启动时，会使用fsimage和edits合并进行恢复元数据
2.SecondayNameNode周期性的拉取fsimage和edits进行合并生成新的fsimage

SecondaryNamenode 的工作机制是什么？ NameNode创建一个Edit.new

SNN从NameNode节点拷贝Fsimage和Edits文件到SNN---->SNN将两个文件导入内存进行合并操作生成一个新的Fsimage.ckpt文件-----> SNN将Fsimage.ckpt发送到NameNode节点----->重命名为Fsimage替换原先的Fsimage---------->原先的Edits生成Edits.new文件—> 将Edits替换为新的Edits.new

SecondaryNamenode存在的意义是什么？

一:进行Fsimage和Edits的合并操作,减少edits日志大小，加快集群的启动速度 二:将Fsimage与Edits进行备份,防止丢失

SecondaryNamenode工作的触发因素有哪些？

1.时间维度，默认一小时触发一次  	dfs.namenode.checkpoint.period ：3600
2.次数维度，默认100万次触发一次		dfs.namenode.checkpoint.txns ： 1000000

使用SNN的FSimage和Edits还原Namenode流程是什么？

进入到SNN的数据存储文件夹----->将最新版本的Fsimage以及Edits拷贝至nameNode节点----->重启集群

集群扩容1 新节点需要做哪些准备？ 1.配置JDK 2.配置SSH免密钥 3.关闭防火墙 4.关闭selinux 5.修改主机名 6.修改hosts 集群扩容2 集群添加一个节点的流程？

在配置文件目录添加dfs.hosts白名单文件,文件中加入包括新增节点在内的所有节点
在hdfs.site.xml中配置白名单文件生效
		
				dfs.hosts
				/export/install/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts
		

配置slaves文件,将新增节点加入
刷新hdfs和yarn
hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes
              新节点开启相应的服务
              浏览Web界面

如何合并小文件？ HDFS ----> local :hadoop fs -getmerge 小文件目录 下载的目录 local -----> HDFS : 遍历所有的已有的小文件追加到一个文件中，再上传（文件不再HDFS）

设置 开启权限控制的key是什么？

dfs.permissions

使用java API 在hdfs创建一个全新的目录的过程是？

//实例化一个Configuration Configuration configuration = new Configuration(); //实例化文件系统 FileSystem fileSystem = FileSystem.get(new URI(“hdfs://192.168.100.88:8082”),configuration); //使用文件系统对象调用相应的API boolean mkdirs = fileSystem.mkdirs(new Path(“目录路径”));