前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >如何搭建Hadoop伪分布式集群?

如何搭建Hadoop伪分布式集群?

原创
作者头像
挖掘大数据
发布2017-12-20 17:24:09
1K0
发布2017-12-20 17:24:09
举报
文章被收录于专栏:挖掘大数据挖掘大数据

如何搭建Hadoop伪分布式集群,本文将详细介绍。

1、下载Hadoop压缩包
代码语言:avrasm
复制
wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz
2、解压Hadoop压缩包
代码语言:avrasm
复制
mkdir /bigdata
tar -zxvf hadoop-2.6.5.tar.gz -C /bigdata
3、配置Hadoop(伪分布式)
代码语言:bash
复制
cd /bigdata/hadoop-2.6.5/etc/hadoop
1)vim hadoop-env.xml
代码语言:ruby
复制
export JAVA_HOME=/usr/lib/jvm/java
2)vim core-site.xml
代码语言:xml
复制
 <configuration>
   <!-- 配置hdfs的namenode的地址-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master</value>
    <property>
    <!-- 配置Hadoop运行时产生数据的存储目录,注意:不是临时数据 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/local/var/hadoop/tmp/hadoop~${user.name}</value>
    </property>
</configuration>
3)vim hdfs-site.xml
代码语言:xml
复制
 <configuration>
   <!-- 指定HDFS存储数据的副本数据量-->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    <property>
</configuration>
4)vim mapred-site.xml
代码语言:xml
复制
 <configuration>
   <!-- 指定MapReduce编程模型运行在YARN上-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    <property>
</configuration>
5)vim yarn-site.xml
代码语言:xml
复制
<configuration>
    <!-- 指定YARN的resourcemanager的地址(伪分布式时就是主机名,localhost或IP地址都行) -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    <property>

    <!--  MapReduce执行shuffle时获取数据的方式 -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    <property>
</configuration>
6)vim /etc/hosts

添加主机ip与主机名的映射:

代码语言:javascript
复制
192.168.29.188 master
4、HDFS初始化

即格式化HDFS(的namenode),

代码语言:bash
复制
cd hadoop/hadoop-2.6.5/bin

hadoop namenode -format
5、启动Hadoop集群
代码语言:sql
复制
cd hadoop/hadoop-2.6.5/sbin

//在hadoop-2.x中,推荐使用start-dfs.sh和start-yarn.sh来分别启动
start-all.sh
6、使用jps命令查看进程是否存在
代码语言:javascript
复制
8707    DataNode
8580    NameNode
9013    ResourceManager
8873    SecondaryNameNode
18057   Application
9308    NodeManager
17644   Jps
7、查看WEB界面

访问HDFS的管理界面:ip:50070

访问YARN的管理界面:ip:8088

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1、下载Hadoop压缩包
  • 2、解压Hadoop压缩包
  • 3、配置Hadoop(伪分布式)
    • 1)vim hadoop-env.xml
      • 2)vim core-site.xml
        • 3)vim hdfs-site.xml
          • 4)vim mapred-site.xml
            • 5)vim yarn-site.xml
              • 6)vim /etc/hosts
              • 4、HDFS初始化
              • 5、启动Hadoop集群
              • 6、使用jps命令查看进程是否存在
              • 7、查看WEB界面
              领券
              问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档