专栏首页黑泽君的专栏大数据技术之_19_Spark学习_01_Spark 基础解析小结(无图片)

大数据技术之_19_Spark学习_01_Spark 基础解析小结(无图片)

1、准备安装包

2、Spark Standalone 即独立模式   2.1、解压安装包到你安装的目录。   2.2、拷贝 conf 目录下的 slaves 文件,将 slave 节点的 hostname 写在文件中,每行一个。   2.3、拷贝 conf 目录下的 spark-env.sh 文件,将 SPARK_MASTER_HOST 和 SPARK_MASTER_PORT 指定。   2.4、分发你的 spark 安装目录到其他节点。   2.5、在 master 节点上执行 /opt/module/spark-2.1.1-bin-hadoop2.7/sbin/start-all.sh 来启动整个 spark 集群。   2.6、在浏览器中访问 http://hadoop102:8080 来访问你的 spark 集群 注意:如果在启动的时候出现 JAVA_HOME not set 那么可以在 sbin 目录下的 spark-config.sh 文件中输入 export JAVA_HOME=/opt/module/jdk1.8.0_144 然后分发到其他节点,这样问题即可解决。

3、Spark Standalone 模式 Spark History Server 的配置   3.1、拷贝 conf 目录下的 spark-defaults.conf 修改为 spark-env.sh,在该文件中添加以下内容: spark-defaults.conf

spark.eventLog.enabled   true
spark.eventLog.dir       hdfs://hadoop102:9000/directory
spark.eventLog.compress  true

  3.2、拷贝 conf 目录下的 spark-env.sh.template 修改为 spark-env.sh,在该文件中添加以下内容: spark-env.sh

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=4000
-Dspark.history.retainedApplications=3
-Dspark.history.fs.logDirectory=hdfs://hadoop102:9000/directory"

  3.3、将修改好的文件同步到集群的其他节点   3.4、启动 /opt/module/spark-2.1.1-bin-hadoop2.7/sbin/start-history-server.sh 来启动 history log 的 web 服务。   查看日志有两种方式:    1、对于正在运行的应用,直接访问 http://hadoop102:4040 查看    2、对于已经结束的应用,直接访问 http://hadoop102:4000 查看

4、Spark Standalone 的 HA 模式   4.1、修改 spark-env.sh 文件   1)、删除 SPARK_MASTER_IP(即 SPARK_MASTER_HOST)   2)、添加如下内容:

export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=hadoop102:2181,hadoop103:2181,hadoop104:2181
-Dspark.deploy.zookeeper.dir=/spark"

  3)、将配置好的文件分发到其他机器节点   4.2、在 master 节点通过 sbin/start-all.sh 进行集群的启动,在某个其他 slave 节点上手动执行 sbin/start-master.sh 来启动第二个 master 进程   4.3、如果是 HA 模式,那么访问的服务地址变为:--master spark://hadoop102:7077,hadoop103:7077

5、Spark Yarn 模式集群的配置   5.1、不需要 spark standalone 集群   5.2、需要配置你提交应用的 client 端 修改 spark-env.sh

# 让 spark 能够发现 hadoop 的配置文件
HADOOP_CONF_DIR=/opt/module/hadoop-2.7.2/etc/hadoop
YARN_CONF_DIR=/opt/module/hadoop-2.7.2/etc/hadoop

  5.3、提交应用

$ /opt/module/spark-2.1.1-bin-hadoop2.7/bin/spark-submit \
--class com.atguigu.sparkdemo.WordCountDemo \
--master yarn \
--deploy-mode client \
--executor-memory 1G \
--total-executor-cores 2 \
/opt/software/sparkdemo-1.0-SNAPSHOT-jar-with-dependencies.jar \
hdfs://hadoop102:9000/RELEASE \
hdfs://hadoop102:9000/out

或者

$ /opt/module/spark-2.1.1-bin-hadoop2.7/bin/spark-submit \
--class com.atguigu.sparkdemo.WordCountDemo \
--master yarn-client \
--executor-memory 1G \
--total-executor-cores 2 \
/opt/software/sparkdemo-1.0-SNAPSHOT-jar-with-dependencies.jar \
hdfs://hadoop102:9000/RELEASE \
hdfs://hadoop102:9000/out

注意:如果使用 yarn 集群,不需要配置 master、slave 结构,只需要配置 jar 包的 client 提交端,让提交端能够发现 hadoop 的一些配置即可。

6、Spark 集群的访问   6.1、通过 IDEA 来编写程序打成 jar 包,来提交运行。    1)、需要创建 SparkConf 对象来设置应用    2)、需要根据 SparkConf 对象来创建 SparkContext(SparkConext 是你的程序和 spark 集群进行连接的桥梁)。    3)、通过 sc,从外部加载数据    4)、对数据进行处理    5)、将结果数据写出到外部    6)、通过 sc.stop() 关闭 SparkContext   6.2、调试应用是通过 local[*] 模式来进行的。   6.3、应用的提交:

$ /opt/module/spark-2.1.1-bin-hadoop2.7/bin/spark-submit \
--class com.atguigu.sparkdemo.WordCountDemo \
--master spark://hadoop102:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
/opt/software/sparkdemo-1.0-SNAPSHOT-jar-with-dependencies.jar \
hdfs://hadoop102:9000/RELEASE \
hdfs://hadoop102:9000/out

--class         指定 jar 包的主类
--master        指定 jar 包提交的模式,详解如下:
    local           本地模式,本地运行,可以调试(local 1个线程、local[*] 不限线程、local[N] N个线程,理想情况下,N 设置为你机器的 CPU 核数)
    spark           提交到 spark stanalone 集群,有 Master 和 Worker 进程,会在 container 中 jar 包运行的时候自动生成
    mesos           将 jar 包提交到 mesos 集群,运行在 mesos 资源管理器框架之上,由 mesos 负责资源管理,Spark 负责任务调度和计算
    yarn            将 jar 包提交到 yarn 集群,运行在 yarn 资源管理器框架之上,由 yarn 负责资源管理,Spark 负责任务调度和计算
    cloud           比如 AWS 的 EC2,使用这个模式能很方便的访问 Amazon 的 S3,Spark 支持多种分布式存储系统,比如 HDFS 和 S3
--deploy-mode   指定 jar 的运行方式(默认是 client 模式),详解如下:
    client 模式      在提交端生成的 JVM 会一直等待所有计算过程全部完成才退出,它有两个功能,一个是提交,一个是监控 jar 包运行(测试环境下使用)
    cluster 模式     在提交端生成的 JVM 在提交 jar 包后会退出,它只有一个提交功能,然后在某一个 worker 上会生成一个 Driver 的 JVM,该 JVM 执行监控 jar 包运行的功能,等待所有代码运行完毕退出(生产环境下使用 )
application.jar 指定你的 jar 包的地址
arguments       传给 main() 方法的参数

执行通过 $ /opt/module/spark-2.1.1-bin-hadoop2.7/bin/spark-shell 来运行。
如果不设置 master 那么默认运行在本机节点;如果设置 --master spark://hadoop102:7077  那么运行在 Spark Standalone 模式集群。

7、问题   1、看文档的时候,需要将某些配置改成自己的。   2、IDEA 运行程序的时候,winuntil.exe 需要添加 HADOOP_HOME 环境变量(IDEA 需要重启)。   3、访问 HDFS 的时候权限问题,比如:HADOOP_USER_NAME=hadoop,运行程序的时候就会以 hadoop 用户来运行。参考链接:https://www.cnblogs.com/chenmingjun/p/10746853.html

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 大数据技术Spark学习

    Spark SQL 是 Spark 用来处理结构化数据的一个模块,它提供了一个编程抽象叫做 DataFrame,并且作为分布式 SQL 查询引擎的作用。 我们...

    黑泽君
  • 大数据技术之_19_Spark学习_01_Spark 基础解析 + Spark 概述 + Spark 集群安装 + 执行 Spark 程序

      Spark 是一种快速、通用、可扩展的大数据分析引擎,2009 年诞生于加州大学伯克利分校 AMPLab,2010 年开源,2013 年 6 月成为 Ap...

    黑泽君
  • 大数据技术之_08_Hive学习_05_Hive实战之谷粒影音(ETL+TopN)+常见错误及解决方案

      通过观察原始数据形式,可以发现,视频可以有多个所属分类,每个所属分类用&符号分割,且分割的两边有空格字符,同时相关视频也是可以有多个元素,多个相关视频又用“...

    黑泽君
  • Spark快速入门系列(7) | Spark环境搭建—standalone(4) 配置Yarn模式

    官方文档地址:http://spark.apache.org/docs/latest/running-on-yarn.html

    不温卜火
  • 本机连接Spark Standalone--最简单的spark调试方式

    去官网 http://spark.apache.org/downloads.html 选择对应版本下载 tar包

    实时计算
  • Spark on yarn

    spark on yarn是spark集群模式之一,通过resourcemanager进行调度,较之standalone模式,不需要单独启动spark服务。

    阿dai学长
  • spark关键版本简要梳理

    好久没有看spark了,发现spark都开始发力AI了。简单梳理下spark的发展脉络如下:

    大数据和云计算技术
  • Spark入门之WordCount

    我是攻城师
  • 理解Spark的运行机制

    我是攻城师
  • Spark Standalone模式 高可用部署

    本文使用Spark的版本为:spark-2.4.0-bin-hadoop2.7.tgz。

    用户1217611

扫码关注云+社区

领取腾讯云代金券