Standalone模式安装Spark

前言:本篇文章是学习spark的开篇,搭建一个spark的完全分布式集群,与大家共勉。

1.将Spark解压并上传至/opt目录下

tar -zxvf spark-1.6.2-bin-hadoop2.6.tgz -C /opt/

2.修改环境变量

vi /etc/profile

export SPARK_HOME=/opt/spark

export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

source /etc/profile

3.配置Spark-env.sh

a、cd /opt/spark/conf

b、cp spark-env.sh.template spark-env.sh

c、vi spark-env.sh

export JAVA_HOME=/opt/jdk

export SCALA_HOME=/opt/scala

export SPARK_MASTER_IP=master

export SPARK_MASTER_PORT=7077

export SPARK_WORKER_CORES=1

export SPARK_WORKER_INSTANCES=1

export SPARK_WORKER_MEMORY=3g

export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop

4.配置slaves

a、cd /opt/spark/conf

b、mv slaves.template slaves

c、vi slaves

master

slave01

slave02

5.启动和验证Spark

a、8080

b、spark-shell

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏牛肉圆粉不加葱

org.apache.spark.streaming.dstream.MappedDStream@5a69b104 has not been initialized现象原因及方案

812
来自专栏大数据

Zzreal的大数据笔记-SparkDay05

Spark Streaming SparkStreaming部分没做知识点的笔记,直接从代码上理解它的用法。后面整理Storm的时候会与SparkStreami...

2046
来自专栏大数据学习笔记

Spark2.x学习笔记:5、Spark On YARN模式

Spark学习笔记:5、Spark On YARN模式 有些关于Spark on YARN部署的博客,实际上介绍的是Spark的 standalone运行模式。...

5798
来自专栏王小雷

spark编程python实例

spark编程python实例 ValueError: Cannot run multiple SparkContexts at once; existing ...

3225
来自专栏个人分享

Spark1.4启动spark-shell时initializing失败

查看spark-env.sh 和spark-default.conf中的配置发现两边都写的有classpath

811
来自专栏岑玉海

Hive Tuning(四) 从查询计划看hive.auto.convert.join的好处

今天我们来讲一下如何看懂Hive的查询计划。 hive的执行计划包括三部分 – Abstract syntax tree – 可以直接忽略  – Sta...

2747
来自专栏大数据-Hadoop、Spark

Spark local mode 报Input path does not exist: hdfs://

写了个spark任务, cd C:\Users\Administrator\IdeaProjects\SparkSQLProject> mvn clean pa...

41710
来自专栏数据处理

提交任务到集群

1342
来自专栏Hadoop实操

如何实现CDH元数据库MySQL的主备

MySQL数据库自身提供的主从复制功能可以方便的实现数据的多处自动备份,实现数据库的扩展。多个数据备份不仅可以加强数据的安全性,通过实现读写分离还能进一步提升数...

3877
来自专栏张善友的专栏

WPF/XML 资源及相关开源项目

昨天参加微软的一个小技术新一代设计工具 - Microsoft Expression 看到很多相关的工具.在网上一搜,找到下面这些东东,和大家分享一下. XAM...

1777

扫码关注云+社区