实验五 | Hadoop基础操作

一、实验目的

HDFS是Hadoop的分布式文件框架，它的实际目标是能够在普通的硬件上运行，并且能够处理大量的数据。

通过实验掌握Hadoop中HDFS的基础操作过程。

二、实验内容

1.HDFS文件系统的基本操作（创建目录，查看文件、删除目录等）

对于HDFS文件系统的基本操作，可以通过HDFS命令来实现。在集群服务器的终端，输入“hdfs dfs”命令，就可以完成对HDFS目录及文件的大部分管理操作，包括创建新目录、上传与下载文件、查看文件内容、删除文件等。

1.1创建新目录/user/dfstest

创建目录可以适用命令“hdfs  dfs -mkdir”。在集群服务器的终端，直接输入命令“hdfs  dfs”，回车后会看到“hdfs  dfs”相关命令帮助，可以看到“[-mkdir  [-p] <path>...]”,其中参数<path>用来指定创建目录的路径。具体命令如下：

“[root@master ]# hdfs  dfs  -mkdir /user/dfstest”

执行该命令后，在HDFS文件目录/user/中显示dfstest文件即为成功，dfstest是新创建的目录。

但是，HDFS命令“hdfs  dfs -mkdir  <path>”只能逐级地创建目录，如果父目录不存在，那么使用这个命令将会报错，如果加上-p参数，则可以同时创建多级目录，执行命令如下：“[root@master ]# hdfs  dfs  -mkdir -p  /user/test/example”

1.2查看文件

当用户想查看某个文件内容的时候，可以直接使用HDFS命令。HDFS提供了两种查看文件的命令方式，如下所示：

hdfs dfs  [-cat[-ignoreCrc] <src>...]

hdfs dfs  [-tail[-f] <file>]

1.3删除文件或目录

当HDFS上的某个文件被确认不在需要时，可以选择将其删除，释放HDFS的存储空间，定期清理不再使用的文件，对于管理整个文件系统是非常重要的。在HDFS的命令帮助文档中，HDFS主要提供了两种删除文件的命令，如下所示：

hdfs dfs  [-rm [-f] [-r|-R] [-skipTrash] <src>...]

hdfs dfs  [-rmdir [--ignore-fail-on-non-empty] <dir>...]

2.上传文件到HDFS文件目录

hdfs dfs  [-copyFromLocal [-f] [-p] [-l] <localsrc>... <dst>]

hdfs dfs  [-moveFromLocal <localsrc> ... <dst>]

hdfs dfs  [-put [-f] [-p] [-l] <localsrc> ...  <dst>]

三、实验任务

将log.txt文件从Linux操作系统上传到HDFS系统中。