hadoop2.6和hbase1.0单机版安装配置

环境

系统:Ubuntu 14.04 hadoop版本:2.6.0 hbase版本:1.0 jdk版本:1.8 下载地址:Apache上慢慢找吧~~


jdk的环境配置这里就不列出来了,首先讲一下hadoop配置吧。

hadoop安装

1.安装位置:/opt 2.创建hadoop用户组 sudo addgroup hadoop 3.创建hadoop用户 sudo adduser -ingroup hadoop hadoop 4.给hadoop添加权限 sudo vim /etc/sudoers 在root ALL=(ALL:ALL) ALL下添加

hadoop  ALL=(ALL:ALL)   ALL

5.安装ssh sudo apt-get install ssh openssh-server 6.建立ssh无密码登陆

su - hadoop
ssh-keygen -t rsa -P ""
cd ~/.ssh
cat id_rsa.pub >> authorized_keys

测试 ssh localhost 7.解压hadoop

tar -zxvf hadoop-2.6.0.tar.gz
sudo mv hadoop-2.6.0 /opt/hadoop
sudo chmod -R 775 /opt/hadoop
sudo chown -R hadoop:hadoop /opt/hadoop

8.配置环境变量 sudo vim ~/.bashrc 在末尾添加

#HADOOP VARIABLES START
export JAVA_HOME=/opt/jdk1.8.0
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path-$HADOOP_HOME/lib"
#HADOOP VARIABLES END

export HBASE_HOME=/opt/hbase
export PATH=$PATH:$HBASE_HOME/bin
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.${JAVA_HOME}/lib:${JRE_HOME}/lib:${HADOOP_HOME}/share/hadoop/common/lib:${HBASE_HOME}/lib

source ~/.bashrc 9.修改hadoop-env.sh 将JAVA_HOME修改为jdk安装目录,这里是/opt/jdk1.8.0 10.修改core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoop/tmp</value>
        </property>
</configuration>

11.修改mapred-site.xml.template并修改为mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

12.修改yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

13.修改hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/hadoop/dfs/data</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
     </property>
</configuration>

14.修改masters和slaves masters好像不存在,自行添加 插入: localhost 15.添加临时目录

cd /opt/hadoop
mkdir tmp dfs dfs/name dfs/data 

16.初始化hdfs hdfs namenode -format 17.启动hadoop

start-dfs.sh
start-yarn.sh

hbase安装

hbase安装相对简单,就是把其整合hadoop 1.解压

tar -zxvf hbase-1.0.0-bin.tar.gz
sudo mv hbase-1.0.0 /opt/hbase
cd /opt
sudo chmod -R 775 hbase
sudo chown -R hadoop:hadoop: hbase

2.修改环境变量 sudo vim /opt/hbase/conf/hbase-env.sh 修改$JAVA_HOME为jdk安装目录,这里是/opt/jdk1.8.0 3.修改hbase-site.xml 添加:

<configuration>
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://localhost:9000/hbase</value>
        </property>
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>
</configuration>

4.启动hbase start-hbase.sh 5.进入hbase shell hbase shell 6.查看进程 通过jps,应该会看到一共有9个进程,分别如下:

3616 NodeManager
3008 NameNode
6945 HQuorumPeer
7010 HMaster
3302 SecondaryNameNode
3128 DataNode
7128 HRegionServer
3496 ResourceManager
7209 Jps

进程号不一定是这些


至此,hadoop和hbase都安装完成了,不过这只是单机版也可以说是伪分布式配置,希望对大家有所帮助。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏about云

各个版本Linux单节点伪分布安装CDH5.1.X及提交wordcount到yarn高可靠文档

问题导读: 1.安装cdh5伪分布配置文件在什么位置? 2.不同的操作系统,cdh5的安装过程都包含哪些流程? 3.在yarn上运行wordcount都需要哪...

28160
来自专栏cloudskyme

搭建hadoop1.2集群

环境准备 我使用的是vmware workstation,首先安装ubuntu 12.04,安装完成后通过vmware的clone,clone出两个虚机,设置的...

31730
来自专栏Hadoop实操

如何在Windows Server2012搭建DNS服务并配置泛域名解析

前面Fayson介绍过《如何在Windows Server2008搭建DNS服务并配置泛域名解析》和《如何利用Dnsmasq构建小型集群的本地DNS服务器》,这...

1.1K50
来自专栏Albert陈凯

P04_zookeeper-cdh5集群搭建

安装ZooKeeper包 [CDH下载地址](http://archive.cloudera.com/cdh5/cdh/5/) 1、将课程提供的zookeepe...

30460
来自专栏zhangdd.com

linux redis最新官方集群安装配置教程

Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误.

6820
来自专栏挖掘大数据

Hadoop基础教程——Hadoop单机版搭建

最近闲来无事,和朋友一起想学习Hadoop,最晚弄机器的弄到两点多,今天一起动手安装Hadoop的环境,刚开始也是一头雾水,Hadoop官网的教程我也是醉了,说...

38690
来自专栏用户2442861的专栏

Pycharm project share to Github

1、File->Settings->Version Control->Github

8720
来自专栏技术专栏

Hadoop 伪分布式安装部署

使得环境变量生效: source ~/.bash_profile 验证java是否配置成功: java -v 详细请参考 http://blog.csdn....

37620
来自专栏星汉技术

原 荐 Centos 7+CDH5.7.2全

62340
来自专栏闵开慧

ubuntu_hadoop 部署笔记

单机模式部署 一、Jdk安装 命令:sudo apt-get install openjdk-6-jdk 目录:/usr/l...

33690

扫码关注云+社区

领取腾讯云代金券