本文使用的版本是
主机名字 | 内存 | 硬盘 | 启用结点 |
---|---|---|---|
node-1 | 4 | 40 | hdfs:NameNode, DataNode;yarn:NodeManager, ResoureceManager, |
node-2 | 4 | 40 | hdfs:SecondaryNameNode,DataNode; yarn: NodeManager |
9. 配置环境变量
#打开全局环境变量设置
vim /etc/profile
#在文档最下方添加配置
JAVA_HOME=/usr/java/jdk1.8.0_65
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH
#生效配置
source /etc/profile
#测试配置
java -version
配置成功:
node-1配置Hadoop
#授予权限 chmod 700 hadoop-2.7.7.tar.gz #解压到当前路径 [root@node-1 hop]# tar zxvf hadoop-2.7.7.tar.gz
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://node-1:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/hop/hadoop-2.7.7/data/hopdata</value> </property> </configuration>
<configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>node-2:50090</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> </configuration>
mv mapred-site.xml.template
vim mapred-site.xml
<!--指定mapreduce运行时框架,这里指定在yarn上,默认是local-->
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
6. vim yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<!--指定YARN的主机(ResourceManager)的地址-->
<name>yarn.resourcemanager.hostname</name>
<value>node-1</value>
</property>
<property>
<!--nodeManager上运行的附属服务,需要配置成maperduce_shuffle,才可用MapReduce程序-->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
7. vim slaves
node-1
node-2
8. 配置Hadoop环境变量,和java的一样,配置以后整体如下
JAVA_HOME=/usr/java/jdk1.8.0_65
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
HADOOP_HOME=/usr/hop/hadoop-2.7.7
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH JAVA_HOME CLASSPATH HADOOP_HOME
生效环境变量
source /etc/profile
测试环境变量配置是否成功
hadoop version
9. 把Hadoop发送到其他机器上
scp -r /usr/hop/hadoop-2.7.7/ root@node-2:/usr/hop
注意,如果导出目录没设置在Hadoop安装包里,其他机器上也要手动创建导出目录(最好把导出目录直接设置在hadoop文件夹里面。。)
10. 把环境变量发送到其他机器上
scp -r /etc/profile root@node-2:/etc/
生效其他机器的环境变量
source /etc/profile
#以下两条命令都可以,只要执行1条!
#在node-1中执行
hdfs namenode –format
hadoop namenode –format
2.启动hdfs集群
/usr/hop/hadoop-2.7.7/sbin
start-dfs.sh
一些解决方案
配置完hadoop启动的时候出现如下警告信息:
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
进入hadoop安装目录,用ldd命令查看依赖库
ldd libhadoop.so.1.0.0 会输出如下信息:
./libhadoop.so.1.0.0: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by ./libhadoop.so.1.0.0)
linux-vdso.so.1 => (0x00007fff369ff000)
libdl.so.2 => /lib64/libdl.so.2 (0x00007f3caa7ea000)
libc.so.6 => /lib64/libc.so.6 (0x00007f3caa455000)
/lib64/ld-linux-x86-64.so.2 (0x00007f3caac1b000)
可以看到依赖的都是/lib64/的动态库,所以不是64位/32位问题。但是看到报错,GLIBC_2.14找不到,现在检查系统的glibc库, ldd --version即可检查。 输入命令:
ldd --version
#会输出如下信息:
ldd (GNU libc) 2.12
Copyright (C) 2010 Free Software Foundation, Inc.
This is free software; see the source for copying conditions. There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
Written by Roland McGrath and Ulrich Drepper.
原来系统预装的glibc库是2.12版本,而hadoop期望是2.14版本,所以打印警告信息。
先回到Hadoop/sbin目录关闭hdfs
cd /usr/hop/hadoop-2.7.7/sbin/
stop-dfs.sh
到http://ftp.gnu.org/gnu/glibc/下载glibc-2.14.tar.xz
tar glibc-2.14.tar.gz
xz -d glibc-2.14.tar.xz
tar -xvf glibc-2.14.tar
cd glibc-2.14
mkdir build
cd build
../configure --prefix=/usr/local/glibc-2.14
make -j4
make install
看看现在libc.so.6在哪个位置,然后修改软链接
[root@binghe ~]# whereis libc.so.6
libc.so: /lib64/libc.so.6 /usr/lib64/libc.so
[root@binghe ~]# rm -rf /lib64/libc.so.6
###注意:删除/lib64/libc.so.6软链接之后,不要关闭当前会话,否则将登录不上系统,切记切记切记!
###直接执行以下代码
[root@binghe ~]# LD_PRELOAD=/usr/local/glibc-2.14/lib/libc-2.14.so ln -s /usr/local/glibc-2.14/lib/libc-2.14.so /lib64/libc.so.6
再启动:不再报错了!
cd /usr/hop/hadoop-2.7.7/sbin/
start-yarn.sh
#在安装目录下找到Logs文件夹
cd /usr/hop/hadoop-2.7.7/logs/
#打开hadoop-root-namenode-node-1.log日志
vim hadoop-root-namenode-node-1.log
#在主节点上使用以下命令启动HDFS NameNode:
hadoop-daemon.sh start namenode
#在每个从节点上使用以下命令启动HDFS DataNode:
hadoop-daemon.sh start datanode
#在主节点上使用以下命令启动YARN ResourceManager:
yarn-daemon.sh start resourcemanager
#在每个从节点上使用以下命令启动YARN nodemanager:
yarn-daemon.sh start nodemanager
#以上脚本位于$HADOOP_PREFIX/sbin/目录下。如果想要停止某个节点上某个角色,只需要把命令中的start改为stop即可。
#查看方式和上文node-1的一样,只是��再node-2机器上找,而且找的是node-2中执行的是SecondaryNameNode日志
#在安装目录下找到Logs文件夹
cd /usr/hop/hadoop-2.7.7/logs/
Call From node-2/192.168.98.130 to node-1:9000
failed on connection exception: java.net.ConnectException:
Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
#使用telnet命令验证
telnet node-1 9000
#发现确实连不上
Trying ::1...
telnet: connect to address ::1: Connection refused
Trying 127.0.0.1...
Connected to node-1.
#如果没有安装telnet,使用yum命令安装
yum install telnet-server
yum install telnet.*
安装时,我们配置了
http://hadoop.apache.org/docs/r2.7.7/
序号 | 参数名 | 默认值 | 参数解释 |
---|---|---|---|
1 | fs.defaultFS | file:/// | 文件系统主机和端口 |
2 | io.file.buffer.size | 4096 | 流文件的缓冲区大小 |
3 | hadoop.tmp.dir | /tmp/hadoop-${user.name} | 临时文件夹 |
序号 | 参数名 | 默认值 | 参数解释 |
---|---|---|---|
1 | dfs.namenode.secondary.http-address | 0.0.0.0:50090 | secondary namenode 所在主机的ip和端口,定义HDFS对应的HTTP服务器地址和端口 |
2 | dfs.namenode.name.dir | file://${hadoop.tmp.dir}/dfs/name | 定义DFS的名称节点在本地文件系统的位置 |
3 | dfs.datanode.data.dir | file://${hadoop.tmp.dir}/dfs/data | 定义DFS数据节点存储数据块时存储在本地文件系统的位置 |
4 | dfs.replication | 3 | 缺省的块复制数量 |
5 | dfs.webhdfs.enabled | true | 是否通过http协议读取hdfs文件,如果选是,则集群安全性较差 |
序号 | 参数名 | 默认值 | 参数解释 |
---|---|---|---|
1 | mapreduce.framework.name | local | 取值local、classic或yarn其中之一,如果不是yarn,则不会使用YARN集群来实现资源的分配 |
2 | mapreduce.jobhistory.address | 0.0.0.0:10020 | 定义历史服务器的地址和端口,通过历史服务器查看已经运行完的Mapreduce作业记录 |
3 | mapreduce.jobhistory.webapp.address | 0.0.0.0:19888 | 定义历史服务器web应用访问的地址和端口 |
序号 | 参数名 | 默认值 | 参数解释 |
---|---|---|---|
1 | yarn.resourcemanager.address | 0.0.0.0:8032 | YARN的主机(ResourceManager)的地址, ResourceManager 提供给客户端访问的地址。客户端通过该地址向RM提交应用程序,杀死应用程序等 |
2 | yarn.resourcemanager.scheduler.address | 0.0.0.0:8030 | ResourceManager提供给ApplicationMaster的访问地址。ApplicationMaster通过该地址向RM申请资源、释放资源等 |
3 | yarn.resourcemanager.resource-tracker.address | 0.0.0.0:8031 | ResourceManager 提供给NodeManager的地址。NodeManager通过该地址向RM汇报心跳,领取任务等 |
4 | yarn.resourcemanager.admin.address | 0.0.0.0:8033 | ResourceManager 提供给管理员的访问地址。管理员通过该地址向RM发送管理命令等。 |
5 | yarn.resourcemanager.webapp.address | 0.0.0.0:8088 | ResourceManager对web 服务提供地址。用户可通过该地址在浏览器中查看集群各类信息 |
6 | yarn.nodemanager.aux-services | 通过该配置项,用户可以自定义一些服务,例如Map-Reduce的shuffle功能就是采用这种方式实现的,这样就可以在NodeManager上扩展自己的服务。 |
更多Hadoop相关信息见Hadoop 专题页面 https://www.linuxidc.com/topicnews.aspx?tid=13