Hadoop - HDFS操作

环境搭建的补充说明：

1.maven配置，vim settings.xml

/home/hadoop/maven_repository

2.Python安装时的注意事项、

（1）推荐源码安装

下载源码：

wget https://www.python.org/ftp/python/3.6.8/Python-3.6.8.tar.xz

源码安装：

tar -xvf Python-3.6.8.tar.xz && cd Python-3.6.8

（2）安装依赖

sudo yum install -y openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-

devel

（3）安装到指定目录

./configure --prefix=/opt/python3.6

make && make install

（4）配置环境变量

vim ~/.bash_profile

export PYTHON_HOME=/opt/python3.6

export PATH=$PYTHON_HOME/bin:$PATH

使环境变量生效:source ~/.bash_profile

HDFS操作

启动HDFS

首先，您必须格式化配置的HDFS文件系统，打开namenode（HDFS服务器），然后执行以下命令。

$./hadoop namenode -format

格式化HDFS后，启动分布式文件系统。以下命令将启动namenode以及数据节点作为集群。

$ ./start-dfs.sh

在HDFS中列出文件

hadoop fs -ls /

创建目录：hadoop fs -mkdir /test

文件上传：hadoop fs -put README.txt /test/

验证上传是否成功：hadoop fs -ls /test

sbin目录下执行：./start-yarn.sh

读取上传的文件内容：hadoop fs -text /test/README.txt （需要是事先启动yarn)

注意：windows浏览器中查看HDFS上传的文件，hadoop000:4568

hdfs文件查看

windows环境下host主机域名配置路径：C:\Windows\System32\drivers\etc

【配置内容】

For example:

102.54.94.97 rhino.acme.com # source server

38.25.63.10 x.acme.com # x client host

127.0.0.1 localhost

127.0.0.1 hadoop000

localhost name resolution is handled within DNS

【小结】

这样一个 HDFS就正常跑起来了，有空时开启随时玩玩。