开篇：在本笔记系列的第一篇中，我们介绍了如何搭建伪分布与分布模式的Hadoop集群。现在，我们来了解一下在一个Hadoop分布式集群中，如何动态（不关机且正在运行的情况下）地添加一个Hadoop节点与下架一个Hadoop节点。
优点： 1.处理超大文件 能用来存储管理PB级的数据 1PB = 1024TB 2.处理非结构化数据、半结构化数据、结构化数据 流式的访问数据 一次写入、多次读取 3.运行于廉价的商用机器集群上 可运行在低廉的商用硬件集群上 故障时能继续运行且不让用户察觉到明显的中断
Hadoop于2007年首次发布时，其目的是在受信任的环境中管理大量Web数据，因此安全性不是重点，也不是聚焦点。随着采用率的上升和Hadoop演变成企业技术，它逐渐发展成为一种不安全的平台而享有盛誉。最初的Hadoop安全性的大多数缺陷已在后续版本中得到解决，但感觉变化比较缓慢。Hadoop的安全声誉和现实远不匹配。
Hadoop是apache软件基金会的开源分布式计算平台hadoop集群包括两种角色Mater和Slave。一个HDFS集群由一个运行于Master上的NameNode和若干个运行于Slave节点的DataNode组成。NameNode负责管理文件系统命名空间和客户端对文件系统的访问操作；DataNode管理存储的数据。文件以块形式在DataNode中存储，假如一个块大小设置为50MB，块的副本数为3（通过设置块的副本数来达到冗余效果，防止单个DataNode磁盘故障后数据丢失），一个40MB的文件
在Hadoop集群资源紧张的情况下可以在线扩容来提升集群的计算能力，具体参考Fayson前面的文章《如何在非Kerberos环境下对CDH进行扩容》，那么在集群计算能力浪费的情况下，如何避免集群资源浪费？本篇文章主要介绍如何使用Cloudera Manager在线减容Hadoop集群。
直接拷贝虚拟机文件； 使用对应版本的VMware虚拟机来打开它； 不知道选择“我已复制该虚拟机”; 知道选择“我已移动该虚拟机”(免设置网络IP)一定要选这个！！！ 如果需要修改IP地址，要做以下内容：
Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。----------来源于百度百科。
Hue和hive等安装不同，需要进行编译安装，所以安装起来较为复杂。具体安装步骤：
在Hadoop集群中，数据文件是以Block的方式存储在HDFS上，而HDFS上数据的名称，副本存储的地址等都是通过NameNode上的元数据来保存的。Hive的数据库和表的数据也是保存在HDFS中，而Hive的元数据metastore则保存在关系型数据库中。这些文件和数据如果丢失或者损坏，都会导致相应的服务不可用，Hadoop集群可以启用某些组件和服务的高可用或者备份，来应对可能出现数据损坏问题。但是在集群需要迁移，集群需要扩容或者缩容，或者其他情况，集群可能会面对数据安全风险的时候，我们可以通过主动备份这些数据，来保证数据安全。本文主要讲述如何备份NameNode元数据，如何备份MariaDB元数据库，如何备份HDFS中的数据，以及如何从这些备份中恢复。
HDFS作为Hadoop框架下的分布式文件系统，其中包括的知识点是非常繁杂的，尤其在理论学习阶段，如果不多花点时间学透彻，在后续的学习当中也会拖累学习进度。今天的大数据开发学习分享，我们就来讲讲Hadoop HDFS安全模式相关的问题。
HDFS（Hadoop Distributed File System）是Apache Hadoop的核心组件之一，它是一个高可靠性、高可用性的分布式文件系统，适合存储大规模数据集。在HDFS中，NameNode节点是HDFS集群的管理节点，它负责管理文件系统的命名空间、元数据信息和数据块的位置信息等。
主节点 改名字，改为master，hosts 改hadoop的slaves加四个xml slaves是加一个节点就要改一次 从节点 新建hadoop用户，修改权限，赋予权限 ALL =… 改好主机名，按node01 node02……规则 配好ssh，保证可以通信 关防火墙，iptables stop 关selinux 自ssh可以，主对从可以免密ssh 用scp传jdk和hadoop到从节点的tmp目录下 可能会出现权限问题，使用tmp目录则不要紧，文件夹权限问题 配jdk和hadoop的环境变量 新
安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向namenode汇报可用的block等状态，当整个系统达到安全标准时，HDFS自动离开安全模式。
安全模式是hadoop的一种保护机制，用于保证集群中的数据块的安全性。当集群启动的时候，会首先进入安全模式。当系统处于安全模式时会检查数据块的完整性。
Hadoop slave node会定期发出一些metrics信息来反映服务的健康状况，服务团队可以通过查看这些metrics来了解服务是否处于健康状态，并回溯了解历史表现。一些典型的用例是：
前面四节已经向大家介绍完，EMR集群的概括和搭建以及集群内的一些操作，在实际的生产过程中，又会出现各式各样的故障。接着就为大家介绍一些常见的故障已经解决方法。
前言 前面几篇简单介绍了什么是大数据和Hadoop，也说了怎么搭建最简单的伪分布式和全分布式的hadoop集群。接下来这篇我详细的分享一下HDFS。 HDFS前言： 设计思想：（分而治之）将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析。 在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务。 分布式文件系统： 问题引发：海量数据超过了单台物理计算机的存储能力 解
Hadoop学习环境搭建好后，就要测试环境是否OK了，测试的方法很简单，只需要自己用hadoop自带的example jar进行测试一把即可，具体的测试方法如下：
我们知道hadoop集群搭建之后，并不能马上启动集群进行使用，需要对namenode做格式化。具体执行的命令：hadoop namenode -format。namenode格式化是删除hdfs-site.xml中dfs.namenode.name.dir指定目录下已有的文件信息（包含fsimage和edit文件），然后在该目录下创建VERSION等文件。初次使用集群必须执行，但对已有数据的集群，会导致集群不可用。如若是非HA集群，会导致丢失所有数据的严重后果。
安全模式是Namenode的一种状态（Namenode主要有active/standby/safemode三种模式）。
本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢 1、列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help 2、显示关于某个命令的详细信息 $ bin/hadoop fs -help command-name 3、用户可使用以下命令在指定路径下查看历史日志汇总 $ bin/hadoop job -history output
CM节点上的所有服务的角色日志不能正常通过ClouderaManager控制台查看，显示如下错误：
强烈建议再搭建hadoop集群之前体验一下单机模式和伪分布式模式的搭建过程，可以参考以下链接：
离线数据分析平台实战——030Hadoop Shell命令02 hdfs命令 hdfs命令是hadoop提供的操作HDFS分布式文件系统的shell命令客户端， 我们可以通过该命令对分布式文件系统进行文件的增删查操作， 也可以通过该命令获取到一些hadoop的相关配置信息， 而且我们启动hdfs相关服务进程都是通过该命令进行的。 hdfs命令主要分为两类， 一类是用户命令：dfs, fsck等， 一类是管理员命令：dfsadmin，namenode，datanode等。 http://archi
1）跟NN通信查询元数据(block所在的DN的节点)，找到文件块所在的DN的服务器。2）挑选一台DN（就近原则，然后随机）服务器，请求建立socket流。3）DN开始发送数据（从磁盘里读取数据放入流，一packet为单位做校验） 4）客户端以packet为单位接收，现在本地缓存，然后写入目标文件中，后面的block块就相当于append到前面的block块，最后合成最终需要的文件。
我查找了很久，还是没有找到这个错误的解决方法。因为我的配置是没有问题的，所以猜想会不会是浏览器的问题，没想到，重启火狐浏览器，再次访问HDFS真的就可以有权限访问文件了
所有的HDFS命令都调用bin/hdfs脚本文件，如果运行hdfs脚本没有带任何参数的话，则打印所有命令的描述。
Hadoop分布式文件系统 (HDFS) 是运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。
处于safemode的集群是无法接收任何写操作的，包括创建目录、删除文件、修改文件、上传文件等等。hdfs集群在启动和关闭的时候一般会有一段时间处于safemode，如果集群中出现了大量的block副本数量低于配置的副本数据量（这个副本数量的配置并不一定是在hdfs的配置文件中配的，配置文件中的只是默认值，在创建文件的时候，客户端可以给文件指定一个副本数量），或者有大量的节点出现故障时，集群可能会长时间处于safemode不能自拔。当系统处于安全模式时，会检查数据块的完整性。总体来说，安全模式是hadoop的一种保护机制，用于保证集群中数据块的安全性的。
前面几篇简单介绍了什么是大数据和Hadoop，也说了怎么搭建最简单的伪分布式和全分布式的hadoop集群。接下来这篇我详细的分享一下HDFS。
NameNode运行时元数据需要存放在内存中，同时在磁盘中备份元数据的fsImage，当元数据有更新或者添加元数据时，修改内存中的元数据会把操作记录追加到edits日志文件中，这里不包括查询操作。如果NameNode节点发生故障，可以通过FsImage和Edits的合并，重新把元数据加载到内存中，此时SecondaryNameNode专门用于fsImage和edits的合并。
以上系统环境准备好，首先克隆 Microsoft 开源的 OpenPAI 的代码: https://github.com/microsoft/pai，切换到分支 v0.14.0。
上篇文章我们成功的搭建了hadoop的集群环境，本文来介绍下hadoop的基本操作
先说一下”hadoop fs 和hadoop dfs的区别”，看两本Hadoop书上各有用到，但效果一样，求证与网络发现下面一解释比较中肯。
大数据技术为决策提供依据，在政府、企业、科研项目等决策中扮演着重要的角色，在社会治理和企业管理中起到了不容忽视的作用，很多国家，如中国、美国以及欧盟等都已将大数据列入国家发展战略，微软、谷歌、百度以及亚马逊等大型企业也将大数据技术列为未来发展的关键筹码，可见，大数据技术在当今乃至未来的重要性！
导读：大多数企业大数据应用案例尚处于实验和试点阶段，对于少数首次在生产环境部署Hadoop系统的用户来说，最常遇到的就是扩展问题，此类问题往往导致企业因噎废食，终止大数据应用项目。如果用户能提前对Ha
分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析；
集群处于安全模式，不能执行重要操作（写操作）。集群启动完成后，自动退出安全模式。 （1）bin/hdfs dfsadmin -safemode get （功能描述：查看安全模式状态[on/off]） （2）bin/hdfs dfsadmin -safemode enter （功能描述：进入安全模式） （3）bin/hdfs dfsadmin -safemode leave （功能描述：离开安全模式） （4）bin/hdfs dfsadmin -safemode wait （功能描述：输入写操作的命令，但不立即执行，而是放在缓存队列中，等待安全模式退出再依次执行）
Hadoop集群环境搭建是很多学习hadoop学习者或者是使用者都必然要面对的一个问题，网上关于hadoop集群环境搭建的博文教程也蛮多的。对于玩hadoop的高手来说肯定没有什么问题，甚至可以说事“手到擒来”的事情，但对于hadoop的初学者来说，hadoop集群环境的搭建着实压力不小。
hadoop安全模式 在分布式文件系统启动的时候， 开始的时候会有安全模式， 当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中，系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示，只需要等待一会儿即可。SafeModeException 异常 运行hadoop程序时，有时候会报以下错误： org.apache.hadoop.dfs.SafeModeException: Cannot delete/user/hadoop/input. Name node is in safe mode. 那我们来分析下这个错误，从字面上来理解：“Name node is in safe mode.”
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。
HDFS作为分布式文件系统在分布式环境下如何保证数据一致性。HDFS中，存储的文件将会被分成若干的大小一致的block分布式地存储在不同的机器上，需要NameNode节点来对这些数据进行管理，存储这些block的结点称为DataNode，NameNode是用来管理这些元数据的。
12、在MapTask的Combine阶段，当处理完所有数据时，MapTask会对所有的临时文件进行一次（）。
做Hadoop应用开发的过程中，用户会有这样的需求，在同一个Java应用中同时访问安全和非安装的CDH集群。同一个Java应用即同一个进程同一个JVM，由于一些全局的变量可能会导致无法同时访问安全和非安全的集群。本篇文章Fayson介绍下如何使用Java代码同时访问安全和非安全的CDH集群。
运行hadoop程序时，有时候会报以下错误： org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode 这个错误应该还满常见的吧（至少我运行的时候是这样的）
思考：NameNode中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。因此，引入Edits文件(只进行追加操作，效率很高)。每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到Edits中。这样，一旦NameNode节点断电，可以通过FsImage和Edits的合并，合成元数据。 但是，如果长时间添加数据到Edits中，会导致该文件数据过大，效率降低，而且一旦断电，恢复元数据需要的时间过长。因此，需要定期进行FsImage和Edits的合并，如果这个操作由NameNode节点完成，又会效率过低。因此，引入一个新的节点SecondaryNamenode，专门用于FsImage和Edits的合并。 NN和2NN工作机制，如图3-14所示。
1、Hadoop的主要应用场景： a、数据分析平台。 b、推荐系统。 c、业务系统的底层存储系统。 d、业务监控系统。 2、开发环境：Linux集群(Centos64位)+Window开发模式(window10,64位操作系统)。 使用技术：hadoop,hbase,hive,flume,oozie,sqoop,nginx,tomcat,spring,mybatis,springmvc,mysql等等。Hdfs为海量的数据提供存储，MapReduce为海量的数据提供计算。 此
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
