Hadoop伪分布式安装 Ubuntu 18.04
Hadoop伪分布式安装 Ubuntu 18.04
YingJoy_
发布于 2018-12-24 11:06:04
发布于 2018-12-24 11:06:04
1. 下载相关文件
2. 安装
2.1 安装JDK
添加环境变量
export JAVA_HOME=/opt/jdk1.8.0_181
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH2.2 安装ssh rsync
sudo apt-get install ssh
sudo apt-get install rsync配置免密登录
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys3. 运行
3.1 初始化Hadoop
bin/hdfs namenode -format这里可能会报错JAVA_HOME Not Found, 解决办法如下:
vim /opt/hadoop-2.9.2/etc/hadoop/hadoop-env.sh
修改
export JAVA_HOME = ${JAVA_HOME}
为
export JAVA_HOME=/opt/jdk1.8.0_181配置Hadoop文件
1. etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
2. etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>3.2 启动
sbin/start-dfs.sh打开浏览器: http://localhost:50070/, 显示如下界面,成功
《Hadoop伪分布式安装 Ubuntu 18.04》
4. 其他
4.1 创建HDFS目录
bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/ying4.2 测试文件上传
bin/hdfs dfs -put etc/hadoop/ input
# 查看文件
bin/hdfs dfs -ls /user/ying/input
《Hadoop伪分布式安装 Ubuntu 18.04》
当然,也可以通过它的可视化界面查看文件
《Hadoop伪分布式安装 Ubuntu 18.04》
4.3 运行示例程序
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar grep input output 'dfs[a-z.]+'
bin/hdfs dfs -get output output
cat output/*5. 配置yarn
1. etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
2. etc/hadoop/yarn-site.xml(这里从template复制一份出来)
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>5.1 启动yarn
sbin/start-yarn.sh打开本地网址: http://localhost:8088/
显示如下则成功:
《Hadoop伪分布式安装 Ubuntu 18.04》
停止
sbin/stop-dfs.sh
sbin/stop-yarn.sh本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录