Ubuntu16.04安装Hadoop2.6+Spark1.6+开发实例

Ubuntu16.04安装Hadoop2.6+Spark1.6,并安装python开发工具Jupyter notebook,通过pyspark测试一个实例,調通整个Spark+hadoop伪分布式开发环境。

主要内容:配置root用户,配置Hadoop,Spark环境变量,Hadoop伪分布式安装并测试实例,spark安装并通过Jupter notebook进行开发实例,配置Jupter notebook兼容Python2和python3双内核共存开发。

默认已经正确安装了JDK,并设置了JAVA_HOME(安装JDK教程较多,不再赘述)

1.配置环境变量

1.0 配置SSH

ssh免密匙登录

sudo apt-get install ssh
sudo apt-get install rsync


ssh-keygen -t rsa //一路回车就好
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh localhost  //不需要输入密码时即成功

1.1.进入root用户

1.1.1 root用户初始为禁止登陆,通过重新设置密码达到root可登陆目的。

sudo passwd //回车输入新的root账户密码两次 su //以root登录 执行设计opt的文件 在本用户(root用户和普通用户)下

ls -a

1.1.2.为了使得当前user如wxl(wangxiaolei)用户的变量在root用户中也能生效,需要修改root用户下的.bashrc文件。方法如下。

su
vim ~/.bashrc
#增加内容
source /etc/profile

重新启动terminal/终端

1.2.配置当前用户中hadoop和spark的环境变量(有的开发人员习惯先创建一个Hadoop新用户来做,其实这个是可有可无的)

vim /etc/profile.d/spark.sh

export SPARK_HOME="/opt/spark"
export PATH="$SPARK_HOME/bin:$PATH"
export PYTHONPATH="$SPARK_HOME/python"

vim /etc/profile.d/hadoopsnc.sh (hadoop Single node cluster)

export HADOOP_HOME="/opt/hadoop"
export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
export PATH="$JAVA_HOME/:$HADOOP_HOME/bin:$PATH"
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

1.3.解决localhost: Error: JAVA_HOME is not set and could not be found.

修改/opt/hadoop/etc/hadoop/hadoop-env.sh

vim /opt/hadoop/etc/hadoop/hadoop-env.sh
#增加
export JAVA_HOME=/opt/java

2.安装Hadoop。在单机情景下,可以单例也可以伪分布式安装。本次详细介绍了伪分布式安装。

2.0.Hadoop单机模式

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep input output 'dfs[a-z.]+'

结果如图

cat output/*

Tip:再次运行例子时候需要手动删除output文件,否则报错 删除output文件

rm -rf output

2.1.伪分布式模式

进入hadoop解压路径中

cd /opt/hadoop

2.2.源码修改

vim etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

vim etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

2.3.初始化节点

Tip 如果出错,可以删除生成的文件在/tem路径下

rm -rf /tmp/hadoop-wxl

注意:因为format在/tmp目录下,所以每次重启机器这些文件会丢失,所以。。。每次开机都需要format一次。 初始化namenode

bin/hdfs namenode -format

2.4.启动hdfs

sbin/start-dfs.sh

查看是否正常启动

jps

若启动成功,访问web端http://localhost:50070

2.5.YARN 的伪分布式

2.5.1.源码修改

创建一个mapred-site.xml,这里采用源文件备份的mapred-site.xml。

cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

vim etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

vim etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

2.5.2开启YARN

sbin/start-yarn.sh

查看是否全部正常启动命令jps,如图

也可以在web端查看,地址http://localhost:8088/cluster

2.6.运行例子:

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep input output 'dfs[a-z.]+'
bin/hdfs dfs -get output output
bin/hdfs dfs -cat output/*

2.7.关闭YARN/dfs

sbin/stop-dfs.sh
sbin/stop-yarn.sh

3.安装spark

3.1.解压,移动到/opt路径下

cd /home/wxl/Downloads
tar -zxf spark-1.6.2-bin-hadoop2.6.tgz
sudo mv spark-1.6.2-bin-hadoop2.6 /opt/spark

在/opt/spark/conf的文件,将spark-env.sh.template复制为spark-env.sh 增加

export JAVA_HOME=/opt/java

即可。 可以看到spark配置比较简单,只需要解压,放置指定路径皆可。

3.2.通过小例子的shell测试

3.2.1.开启pyspark

./bin/pyspark

3.2.2.pyspark在shell中开发

lines =sc.textFile("README.md")
lines.count()
lines.first()
exit() #或者ctrl+c

可以看到每次shell打印一堆info信息,为了较少信息输出,建立log机制 cp conf/log4j.properties.template conf/log4j.properties 将log4j.properties文件中的log4j.rootCategory=INFO, console 修改为 log4j.rootCategory=WARN, console

3.3.pyspark在jupyter notebook 中开发

启动Spark 1.6 的开发工具 jupyter notebook

IPYTHON_OPTS="notebook" /opt/spark/bin/pyspark

Tip:如果是spark 2.0+版本运行以下启动jupyter notebook命令(更新于20160825)

PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS='notebook' /opt/spark-2.0.0-bin-hadoop2.7/bin/pyspark

输入测试例子,shift+enter是运行本单元格并且建立新行,依次输入

lines =sc.textFile("README.md")
lines.count()
lines.first()

至此,整个环境搭建和开发过程总结完毕,愉快的开发吧! 注意:Spark支持的python版本是python2.7.x,也支持python3.4+。但是在开发程序时候,朋友请保证注意pyhton版本,如果程序和使用内核不同的话,jupyter notebook内核则会报错。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏james大数据架构

一步一步在Windows中使用MyCat负载均衡 上篇

  传统关系型数据库的分布式开发通常需要自己做,不仅耗时耗力而且效果不是很理想,当想快速搭建时,最初想到的是看有没有第三方,网上牛人还是很多的,做得比较好的其中...

2176
来自专栏云计算教程系列

如何在Ubuntu 14.04上使用Corosync,Pacemaker和浮动IP创建高可用性HAProxy设置

本教程将向您展示如何在Ubuntu 14.04上创建高可用性HAProxy负载均衡器设置,并支持浮动IP和Corosync / Pacemaker集群堆栈。HA...

1340
来自专栏技术小黑屋

Gitlab开启Commit中comments通知

团队中使用Gitlab来管理代码,带来了很大的效率提高.于是就这样边使用边摸索着了解gitlab的功能.今天解决了一个关于通知的问题. 在gitlab中很常见的...

1323
来自专栏后端之路

Maven Assembly Plugin

目前系统中是按照模块来组织jar,因此可以直接打成多个jar以供其他系统使用。 那么对于一个项目来说是否可以针对不同的需求来打出不同的jar呢? 比如某个服务我...

2015
来自专栏闵开慧

hadoop配置文件

(1)配置$HADOOP_HOME/conf/hadoop-env.sh 切换到Hadoop的安装路径找到hadoop-0.20.2下的conf...

2726
来自专栏公有云大数据平台弹性MapReduce

腾讯云EMR使用说明: 配置工作流

本文将通过一个简单,并且具有典型代表的例子,描述如何使用EMR产品中的Hue组件创建工作流,并使该工作流每天定时执行。

10K13
来自专栏张泽旭的专栏

【腾讯云的1001种玩法】hadoop 伪分布式搭建

Hadoop实现了一个分布式文件系统(简称HDFS)。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high...

1.3K0
来自专栏Jed的技术阶梯

Hadoop完全分布式集群搭建

集群中只有mapred-site.xml.template,可以从这个文件进行复制

801
来自专栏龙首琴剑庐

Apache RocketMQ 4.0.0 - linux安装与配置笔记

一、安装与配置 1、下载  官网:http://rocketmq.apache.org/ 如:rocketmq-all-4.0.0-incubating-bin...

3786
来自专栏哎_小羊

初试 Centos7 上 Ceph 存储集群搭建

目录 Ceph 介绍 环境、软件准备 Ceph 预检 Ceph 存储集群搭建 1、Ceph 介绍 Ceph 是一个开源的分布式存储系统,包括对象存储、块设备...

8556

扫码关注云+社区