专栏首页信息化漫谈在单台云主机搭伪分布式hadoop环境

在单台云主机搭伪分布式hadoop环境

Hadoop是大数据的基础框架模型,处理大数据,不应只谈偏向业务环境的大数据(如超市买婴儿尿不湿同时还应该推荐啤酒的经典案例),作为解决方案经理,技术是不能缺少的,否则存在忽游的嫌疑。:) 做解决方案经理,技术+业务,个人理解,技术应占到60%,业务占到40%,说到业务其实客户比我们更懂,因此技术非常重要。前面我们讲到过大数据的环境搭建,今天我们用单台云主机(或自建vmware虚机)进行Hadoop所有组件的实际应用,再次加深大数据的技术底蕴。

一、我们搭建伪分布式的hadoop环境

所谓伪分布式,即hadoop之dfs的namenode、datanode均在一台云主机中。今天我们用ubuntu 14.04进行测试,主机配置为2cpu、2GB内存、40GB硬盘,具有弹性IP配置。

二、为便于操作,新建hadoop帐户

1、sudo useradd -m hadoop -s /bin/bash

这条命令创建hadoop帐户,并创建/home/hadoop目录,并使用/bin/bash作为Shell

2、sudo passwd hadoop

这条命令为hadoop帐户设置密码

3、sudo adduser hadoop sudo

为hadoop用户增加管理员权限,方便将来的部署

三、为便于操作,实现master主机无密登陆

1、sudo apt-get update

升级系统,以便为将来的java jdk安装作准备

2、为本机生成免密码登录,为hadoop作准备

ssh localhost 登录成功后退出

cd ~/.ssh/

ssh-keygen -t rsa

cat ./id_rsa.pub>>./authorized_keys

ssh localhost 如果正常,将实现免密登陆

四、安装java环境

1、sudo apt-get install openjdk-7-jre openjdk-7-jdk 安装201M的jdk文件

2、dpkg -L openjdk-7-jdk |grep 'bin/javac' 获得java的执行路径为/usr/lib/jvm/java-7-openjdk-amd64

3、配置JAVA_HOME变量

vim ~/.bashrc

在文件最开始增加

JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

!wq后保存退出

4、使环境变量生效

source ~/.bashrc

5、java -version,如果输出版本,则正常安装

五、安装伪分布式hadoop环境

1、从http://mirrors.cnnic.cn/apache.hadoop/common中下载hadoop2.7.6.tar.gz

2、通过rz命令上传至云主机

3、安装hadoop

sudo tar -zxf hadoop-2.7.6.tar.gz -C /usr/local

cd /usr/local/

sudo mv ./hadoop-2.7.6/ ./hadoop 将文件夹名改名

sudo chown -R hadoop ./hadoop 修改文件权限为hadoop用户

4、检查hadoop版本

cd /usr/local/hadoop

./bin/hadoop version

六、配置伪分布式hadoop环境

如果是单机环境,不用配置即可使用,但单机环境无法使用hdfs功能,因此我们按照伪分布式进行配置。

1、配置core-site.xml文件

cd /usr/local/hadoop/etc/hadoop

vim core-site.xml

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/usr/local/hadoop/tmp</value>

<description>Abase for other temporary directories.</description>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

2、配置hdfs-site.xml文件

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/data</value>

</property>

</configuration>

3、格式化hdfs环境

cd /usr/local/hadoop

./bin/hdfs namenode -format

4、配置mapreduce的文件

vim mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

5、配置yarn的文件

vim yarn-site.xml

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

~

七、启动所有进程

./sbin/start-dfs.sh 先启动hdfs

./sbin/stop-dfs.sh 先关闭hdfs,以产生secondary进程

./sbin/start-dfs.sh 启动hadoop

./sbin/start-yarn.sh 启动yarn

./sbin/mr-jobhistory-daemon.sh start historyserver 开启历史服务器,才能在web中查看任务运行情况

八、用web界面查看dfs、mapreduce

1、http://118.121.206.238:50070 用弹性ip查看dfs

2、http://118.121.206.238:8088 用弹性ip查看mapreduce

本文分享自微信公众号 - 信息化漫谈(informationwalk),作者:新梦飞

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-06-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 用HDFS数据存储与你想象一样吗?

    昨天装好伪分布式的hadoop环境后,今天进行最基础的HDFS环境操作。HDFS最刚开始使用有几个误区,接下来,我们在实际操作中进行一一演示。

    希望的田野
  • 为什么天翼云的云主机第二张网卡无法使用?

    公司的新业务合作伙伴生态大会终于结束了,接下来的其它滞后工作继续跟进。今天周末,云项目的实施交付工作继续,客户反映天翼云的云主机的第二张网卡无法...

    希望的田野
  • 云桌面解决高安全、易管理等办公场景需求

    自从思杰在国内开始应用云桌面并伴随着云计算的应用,这几年云桌面又开始火了起来,云桌面在多种场景下发挥了巨大的用途。云桌面(Virtual Desktop...

    希望的田野
  • Hadoop-2.7.4 集群快速搭建

    Hadoop简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力...

    搜云库
  • Hadoop集群搭建Linux环境准备基础配置安装HadoopHA集群安装HIVE安装MySQL安装HBASE安装Flume问题总结

    本文主要讲解了Hadoop集群环境的搭建过程,实际应用中应该不会这样做,而是通过一些管理工具进行安装,比如可视化安装:Ambari。

    spilledyear
  • Hadoop04【集群环境搭建】

    链接:https://pan.baidu.com/s/1OXiW1i3gD6fVvrFX7NXsJg 提取码:nyzk 下载内容包括源文件和编译的文件。

    用户4919348
  • Hadoop学习笔记—22.Hadoop2.x环境搭建与配置

    自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我...

    Edison Zhou
  • 实战CentOS系统部署Hadoop集群服务

    版权声明:本文为木偶人shaon原创文章,转载请注明原文地址,非常感谢。 https://blog...

    shaonbean
  • Hadoop完全分布式集群搭建

    集群中只有mapred-site.xml.template,可以从这个文件进行复制

    CoderJed
  • ubuntu中配置hadoop

    单机模式部署 一、Jdk安装 命令:sudo apt-get install openjdk-6-jdk 目录:/usr/l...

    闵开慧

扫码关注云+社区

领取腾讯云代金券