用HDFS数据存储与你想象一样吗？
昨天装好伪分布式的hadoop环境后，今天进行最基础的HDFS环境操作。HDFS最刚开始使用有几个误区，接下来，我们在实际操作中进行一一演示。
一、HDFS有自己的存储空间，不能用linux的ls、mkdir等命令直接操作
1、用hdfs创建一个目录
cd /usr/local/hadoop/bin
./hdfs dfs -mkdir /mx
2、查看刚创建的目录已成功在hdfs的根目录中
./hdfs dfs -ls /
3、上传一个linux中的本地文件至hdfs中
./hdfs dfs -put /home/hadoop/myLocalFile.txt /mx
检查文件上传成功
./hdfs dfs -ls /mx
检查文件内容正常
/.hdfs dfs -cat /mx/myLocalFile.txt
二、相应在程序中调用HDFS的文件，不能直接用java.io.file类，必须引入hadoop-hdfs.jar包
在MyEclipse开发java程序时，不能直接用java.io.file类直接操作hdfs中的文件，须引入三个jar包。hadoop-hdfs.jar、hadoop-hdfs-nfs.jar、hadoop-common.jar，通过jar再操作hdfs中的文件。
三、Hadoop中默认的块空间大小为128MB，为什么
Block Size是HDFS的最小存储单元，Hadoop从2.0版本后将Block Size从64MB升至128MB，主要是减少磁盘的寻道时间。如果寻址时间为10ms左右，而传输速率为100MB/s，为了使寻址时间仅占传输时间的1%。计算机的默认存储块大小为512KB，hadoop的Block Size严重大于操作系统的存储块。
当有文件上传到HDFS上时，若文件大小大于设置的块大小，则该文件会被切分存储为多个块，多个块可以存放在不同的DataNode上，整个过程中 HDFS系统会保证一个块存储在一个datanode上 。但值得注意的是 如果某文件大小没有到达128MB，该文件并不会占据整个块空间 。
有人说为了进一步减少寻道时间，我们将Block Size设得更大，不好吗？有原因不建议设得更大：mapreduce的map任务一般对应一个Block Size，如果Block Size太大，无法发挥分布式的并行计算优势。
四、hadoop的hdfs datanode节点一般与tasktracker运行在同一台计算机上，以获得更大的性能
hadoop在存储有输入数据（HDFS中的数据）的节点上运行map任务，可以获得高性能，这就是所谓的数据本地化。
如果是不同的计算机，map任务将把其它hdfs计算机上的block文件下载到map任务所在的计算机，再计算，增加了不必要的时间。
五、secondary namenode与namenode的区别是什么？
NameNode负责管理整个文件系统的元数据，也就是哪个Block被放入了哪台计算机的目录，属称元数据。
secondary namenode的目的使帮助NameNode合并编辑日志，减少NameNode 启动时间。在主namenode发生故障时（假设没有及时备份数据），可以从SecondaryNameNode恢复数据。