专栏首页A2Data趣搭-大集群(2.x)

趣搭-大集群(2.x)

生活

就是一系列下定决心的努力

· 正 · 文 · 来 · 啦 ·

大数据集群安装详解(Hadoop2.x)

搭建环境:RadHat5.5
HaDoop:hadoop-2.6.0-cdh5.5.2
JDK:jdk-7u25-linux-i586

vmware 虚拟机 三台
主节点:hdp-01 ip 192.168.6.2
从节点:hdp-02 ip 192.168.6.4
从节点:hdp-03 ip 192.168.6.6
将jdk-7u25-linux-i586.tar.gz 分别传到每台机器的/TMP下
将hadoop-2.6.0-cdh5.5.2.tar.gz 传入到主节点的/TMP下
注意要关闭防火墙
1./etc/init.d/iptables stop或者service iptables stop 
2.chkconfig iptables off
3.setenforce 0
4.vim /etc/sysconfig/selinux ,修改为:SELINUX=disabled并且SELINUXTYPE=disabled.

开始安装JDK(三台都需要)

HDP-01 主节点

vim 1.sh

#!/bin/bash
cat <<EOF >/etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=hdp-01
EOF
hostname hdp-01
cat <<EOF > /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1               localhost.localdomain localhost
::1             localhost6.localdomain6 localhost6
192.168.6.2  hdp-01 
192.168.6.4  hdp-02
192.168.6.6  hdp-03
EOF
useradd hadoop
echo "123456" | passwd --stdin hadoop
cd /tmp
ls
tar -zxvf jdk-7u25-linux-i586.tar.gz -C /usr/
cd /usr/
ls
rpm -e --nodeps java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
cd
cat <<EOF >> /etc/profile
export JAVA_HOME=/usr/jdk1.7.0_25
export JAVA_BIN=/usr/jdk1.7.0_25/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH
EOF
source /etc/profile
java -version
tail -n 6 /etc/profile
su - hadoop

HDP-02 从节点

vim 1.sh

cat <<EOF >/etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=hdp-02
EOF
hostname hdp-02
cat <<EOF > /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1               localhost.localdomain localhost
::1             localhost6.localdomain6 localhost6
192.168.6.2  hdp-01 
192.168.6.4  hdp-02
192.168.6.6  hdp-03
EOF
useradd hadoop
echo "123456" | passwd --stdin hadoop
cd /tmp
ls
tar -zxvf jdk-7u25-linux-i586.tar.gz -C /usr/
cd /usr/
cd
cat <<EOF >> /etc/profile
export JAVA_HOME=/usr/jdk1.7.0_25
export JAVA_BIN=/usr/jdk1.7.0_25/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH
EOF
source /etc/profile
/usr/jdk1.7.0_25/bin/java -version
tail -n 6 /etc/profile
su - hadoop

HDP-03 从节点

vim 1.sh
cat <<EOF >/etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=hdp-03
EOF
hostname hdp-03
cat <<EOF > /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1               localhost.localdomain localhost
::1             localhost6.localdomain6 localhost6
192.168.6.2  hdp-01 
192.168.6.4  hdp-02
192.168.6.6  hdp-03
EOF

useradd hadoop
echo "123456" | passwd --stdin hadoop
cd /tmp
ls
tar -zxvf jdk-7u25-linux-i586.tar.gz -C /usr/
cd /usr/
ls
cd
cat <<EOF >> /etc/profile
export JAVA_HOME=/usr/jdk1.7.0_25
export JAVA_BIN=/usr/jdk1.7.0_25/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH
EOF
source /etc/profile
/usr/jdk1.7.0_25/bin/java -version

echo $?
tail -n 6 /etc/profile
su - hadoop
分别安装完之后 都会有如下图所示(主节点):
创建hadoop用户 密码为123456
自动su到hadoop用户下
java 版本以及环境变量
hadoop用户名

安装主节点 CDH (切换到root用户)

core-site.xml
vim  core-site.xml
<property>
   <name>fs.defaultFS</name>
   <value>hdfs://hdp-01:9000</value>        <!--主机名-->
   <description>NameNode URI.</description>
 </property>
 <property>
   <name>io.file.buffer.size</name>
   <value>131072</value>
   <description>Size of read/write buffer used inSequenceFiles.</description>
 </property>
cd /usr/local/hadoop-2.6.0/
mkdir -p dfs/name      
mkdir -p dfs/data  
mkdir -p dfs/namesecondary
cd etc/hadoop

hdfs-site.xml

mapred-site.xml

本文分享自微信公众号 - DataScience(DataScienceTeam),作者:Jack 风

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-11-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 趣搭-大集群

    DataScience
  • 趣搭-嗒集群

    将jdk-7u25-linux-i586.tar.gz 分别传到每台机器的/TMP下

    DataScience
  • Python面向对象(4)

    DataScience
  • 趣搭-大集群

    DataScience
  • 手把手教你使用PCA进行数据降维

    对数据降维可以帮助我们提取数据集的主要信息,即将原始的高维特征空间压缩到低纬度的特征子空间。数据降维是用于提高计算效率的典型手段,另一个好处是也能够减小维度诅咒...

    HuangWeiAI
  • 小网站流量思维进化史

    最近这几天和广州几家从事企业网站搭建和运维的公司进行了一场没有预先目的的头脑风暴,头脑风暴的唯一核心词是“电子商务”,然后自然就会涉及到很多很多,今天就来说说小...

    明月云服务
  • 解除nt kernel&system占用80端口

    梦_之_旅
  • NumExpr:加速Numpy、Pandas数学运算新利器!

    Numpy 和 Pandas 可能是用于数据科学(DS)和机器学习(ML)任务的两个最广泛使用的核心Python库。毋庸置疑,计算数值表达式的速度对于这些DS/...

    量化投资与机器学习微信公众号
  • MySQL架构组成、逻辑模块组成

    Mysql逻辑结构可以看成是二层架构,第一层通常叫做SQL Layer,在mysql数据库系统处理底层数据之前的所有工作都在这一层完成的,包括权...

    L宝宝聊IT
  • RNAmmer:预测基因组上的核糖体RNA

    核糖体RNA, 缩写为rRNA, 是细胞内含量最多的一类RNA, 能够与蛋白质结合形成核糖体,完成氨基酸的合成。rRNA分子量较大,通常利用沉降系数来区分不同类...

    生信修炼手册

扫码关注云+社区

领取腾讯云代金券