专栏首页算法之名Hadoop hdfs+Spark配置

Hadoop hdfs+Spark配置

Hadoop hdfs配置(版本2.7)

hadoop-env.sh

export JAVA_HOME=/home/java/jdk1.8.0_45

hdfs-site.xml

<configuration> <property> <name>dfs.nameservices</name> <value>guanjian</value> </property> <property> <name>dfs.ha.namenodes.guanjian</name> <value>nn1,nn2</value> </property> <property> <name>dfs.namenode.rpc-address.guanjian.nn1</name> <value>host1:8020</value> </property> <property> <name>dfs.namenode.rpc-address.guanjian.nn2</name> <value>host2:8020</value> </property> <property> <name>dfs.namenode.http-address.guanjian.nn1</name> <value>host1:50070</value> </property> <property> <name>dfs.namenode.http-address.guanjian.nn2</name> <value>host2:50070</value> </property> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://host1:8485;host2:8485/guanjian</value> </property> <property> <name>dfs.client.failover.proxy.provider.guanjian</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/root/.ssh/id_dsa</value> </property> <property> <name>dfs.journalnode.edits.dir</name> <value>/opt/jn/data</value> </property> <property>

<property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property>

core-site.xml

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://guanjian</value> </property> <property> <name>ha.zookeeper.quorum</name> <value>192.168.5.129:2181</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop2</value> </property> </configuration>

slaves

host1 host2

在/etc/hosts中,host1,host2分别制定为

192.168.5.129 host1 192.168.5.182 host2

手动建两个文件夹

mkdir -p /opt/jn/data

mkdir /opt/hadoop2

在sbin目录下启动journalnode

./hadoop-daemon.sh start journalnode

格式化namenode,在bin目录下(此处只格式化一台即可)

./hdfs namenode -format

同机启动namenode,在/sbin

./hadoop-daemon.sh start namenode

在没有格式化的机器上,在/bin

./hdfs namenode -bootstrapStandby

./hadoop-daemon.sh start namenode

停止所有的dfs,在/sbin

./stop-dfs.sh

格式化zkfc,在/bin

./hdfs zkfc -formatZK

进入zookeeper查看

WatchedEvent state:SyncConnected type:None path:null [zk: localhost:2181(CONNECTED) 0] ls / [zookeeper, hadoop-ha, guanjian]

我们可以看到多了一个hadoop-ha节点

一次性启动全部hdfs,在/sbin

./start-dfs.sh

访问192.168.5.182:50070(active)

访问192.168.5.129:50070(standby)

创建目录,在/bin

./hdfs dfs -mkdir -p /usr/file

上传文件,在/bin

./hdfs dfs -put /home/soft/jdk-8u45-linux-x64.tar.gz /usr/file

点击jdk-XXX.tar.gz可以看到它有2个Block(1个Block128M)

Spark配置(版本2.2.0)

spark-env.sh

export JAVA_HOME=/home/java/jdk1.8.0_45 #export SPARK_MASTER_HOST=192.168.5.182 export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=192.168.5.129:2181 -Dspark.deploy.zookeeper.dir=/spark" export SPARK_MASTER_PORT=7077

slaves

host1 host2

修改Web端口,/sbin下

start-master.sh

if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then SPARK_MASTER_WEBUI_PORT=8091 //原始端口8080,容易与其他冲突 fi

在其中一台启动,如在host2启动,/sbin下

./start-all.sh

在另外一台host1启动master,/sbin下

./start-master.sh

host2:alive

host1:standby

进入zookeeper查看,多了一个spark节点

WatchedEvent state:SyncConnected type:None path:null [zk: localhost:2181(CONNECTED) 0] ls / [zookeeper, spark, hadoop-ha, guanjian]

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • mycat 1.6.5 for mysql 8分表攻略

    如果你下载已经打包好的mycat 1.6.5压缩包.tar.gz是永远也连接不了mysql 8的,我们需要的是mycat 1.6.5的源代码Mycat-Serv...

    算法之名
  • 在Mybatis的collection标签中获取以,分隔的id字符串

    有的时候我们把一个表的id以逗号(,)分隔的字符串形式放在另一个表里表示一种包含关系,当我们要查询出我们所需要的全部内容时,会在resultMap标签中使用co...

    算法之名
  • 图论整理 顶

    图的每一个点称为顶点(Vertex),通常我们会给顶点标上序号,而这些序号就可以理解为索引

    算法之名
  • 【SSH快速进阶】——Spring抽象公共配置

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/huyuyang6688/article/...

    DannyHoo
  • hadoop2.5.0完全分布式环境搭建(亲测有效)

          说在前头的一些东西,关于Linux本身环境本身的一些处理见如下链接,主要是讲Hadoop环境的前期准备:http://www.jianshu.co...

    z小赵
  • druid简介与运用

    Druid首先是一个数据库连接池。Druid是目前最好的数据库连接池,在功能、性能、扩展性方面,都超过其他数据库连接池,包括DBCP、C3P0、BoneCP、P...

    Java架构师历程
  • ssh框架搭建

    目录结构: ? 一、新建web project 二、在src目录下新建struts.xml  ,使用include是为了方便分开各个action <?xml v...

    xiangzhihong
  • 大数据-Hadoop的使用指南

    1.x版本系列:hadoop版本当中的第二代开源版本,主要修复0.x版本的一些bug等

    cwl_java
  • Hadoop完全分布式安装

    完全分布式安装部署,其实步骤上来说与伪分布式没有太大的区别,主要增加2台虚拟机部署称为一个3台的集群

    我脱下短袖
  • hadoop-2.8.3 配置安装

    本文由 bytebye 创作 本站文章除注明转载/出处外,均为本站原创或翻译,转载前请务必署名

    ByteBye

扫码关注云+社区

领取腾讯云代金券