Standalone模式安装Spark

前言:本篇文章是学习spark的开篇,搭建一个spark的完全分布式集群,与大家共勉。

1.将Spark解压并上传至/opt目录下

tar -zxvf spark-1.6.2-bin-hadoop2.6.tgz -C /opt/

2.修改环境变量

vi /etc/profile

export SPARK_HOME=/opt/spark

export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

source /etc/profile

3.配置Spark-env.sh

a、cd /opt/spark/conf

b、cp spark-env.sh.template spark-env.sh

c、vi spark-env.sh

export JAVA_HOME=/opt/jdk

export SCALA_HOME=/opt/scala

export SPARK_MASTER_IP=master

export SPARK_MASTER_PORT=7077

export SPARK_WORKER_CORES=1

export SPARK_WORKER_INSTANCES=1

export SPARK_WORKER_MEMORY=3g

export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop

4.配置slaves

a、cd /opt/spark/conf

b、mv slaves.template slaves

c、vi slaves

master

slave01

slave02

5.启动和验证Spark

a、8080

b、spark-shell

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CaiRui

Tomcat企业级应用

简介 Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Su...

4016
来自专栏Jerry的SAP技术分享

在Linux系统里安装Virtual Box的详细步骤

E1009 23:51:37.685891 358 start.go:174] Error starting host: Error creating host...

613
来自专栏乐沙弥的世界

基于 RMAN 的同机数据库克隆

Oracle数据库克隆,也叫着Oracle数据库复制,可以通过基于用户管理的方式来完成,也可以基于RMAN方式来实现。而且Oracle建议使用RMAN方式来实现...

721
来自专栏Hadoop实操

如何在CDH启用Kerberos的情况下安装及使用Sentry(二)

使用beeline连接HiveServer2,创建columnread角色并授权test表s1列的读权限,将columnread角色授权给fayson_r用户组

8258
来自专栏杨建荣的学习笔记

生产系统中EXP-00000的问题及解决(66天)

早上刚来的时候,客户的dba就急忙找到我说生产系统exp出问题了。exp的时候报了错误,让我帮着看一下。 > exp xxxxx file=tui.dmp l...

3026
来自专栏个人分享

spark单机模式简单搭建

待安装列表 hadoop hive scala spark 一.环境变量配置: ~/.bash_profile PATH=$PATH:$HOME/bin

1241
来自专栏乐沙弥的世界

RMAN 备份路径困惑(使用plus archivelog时)

--*******************************************

613
来自专栏蓝天

查看HDFS集群信息

clusterID:集群ID,必须保持一致 1)在NameNode上查看 cat $HADOOP_HOME/dfs/name/current/VE...

732
来自专栏三杯水

Ambari安装部署Hadoop

Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、...

1203
来自专栏个人分享

hadoop-spark-hive-hbase配置相关说明

或者 ./runRemoteCmd.sh '~/och200/zookeeper/bin/zkServer-initialize.sh --myid=1' zo...

1062

扫码关注云+社区