大数据技术之_19_Spark学习_01_Spark 基础解析小结（无图片）

spark.eventLog.enabled   true
spark.eventLog.dir       hdfs://hadoop102:9000/directory
spark.eventLog.compress  true

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=4000
-Dspark.history.retainedApplications=3
-Dspark.history.fs.logDirectory=hdfs://hadoop102:9000/directory"

export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=hadoop102:2181,hadoop103:2181,hadoop104:2181
-Dspark.deploy.zookeeper.dir=/spark"

# 让 spark 能够发现 hadoop 的配置文件
HADOOP_CONF_DIR=/opt/module/hadoop-2.7.2/etc/hadoop
YARN_CONF_DIR=/opt/module/hadoop-2.7.2/etc/hadoop

$ /opt/module/spark-2.1.1-bin-hadoop2.7/bin/spark-submit \
--class com.atguigu.sparkdemo.WordCountDemo \
--master yarn \
--deploy-mode client \
--executor-memory 1G \
--total-executor-cores 2 \
/opt/software/sparkdemo-1.0-SNAPSHOT-jar-with-dependencies.jar \
hdfs://hadoop102:9000/RELEASE \
hdfs://hadoop102:9000/out

或者

$ /opt/module/spark-2.1.1-bin-hadoop2.7/bin/spark-submit \
--class com.atguigu.sparkdemo.WordCountDemo \
--master yarn-client \
--executor-memory 1G \
--total-executor-cores 2 \
/opt/software/sparkdemo-1.0-SNAPSHOT-jar-with-dependencies.jar \
hdfs://hadoop102:9000/RELEASE \
hdfs://hadoop102:9000/out

$ /opt/module/spark-2.1.1-bin-hadoop2.7/bin/spark-submit \
--class com.atguigu.sparkdemo.WordCountDemo \
--master spark://hadoop102:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
/opt/software/sparkdemo-1.0-SNAPSHOT-jar-with-dependencies.jar \
hdfs://hadoop102:9000/RELEASE \
hdfs://hadoop102:9000/out

--class         指定 jar 包的主类
--master        指定 jar 包提交的模式，详解如下：
    local           本地模式，本地运行，可以调试（local 1个线程、local[*] 不限线程、local[N] N个线程，理想情况下，N 设置为你机器的 CPU 核数）
    spark           提交到 spark stanalone 集群，有 Master 和 Worker 进程，会在 container 中 jar 包运行的时候自动生成
    mesos           将 jar 包提交到 mesos 集群，运行在 mesos 资源管理器框架之上，由 mesos 负责资源管理，Spark 负责任务调度和计算
    yarn            将 jar 包提交到 yarn 集群，运行在 yarn 资源管理器框架之上，由 yarn 负责资源管理，Spark 负责任务调度和计算
    cloud           比如 AWS 的 EC2，使用这个模式能很方便的访问 Amazon 的 S3，Spark 支持多种分布式存储系统，比如 HDFS 和 S3
--deploy-mode   指定 jar 的运行方式（默认是 client 模式），详解如下：
    client 模式      在提交端生成的 JVM 会一直等待所有计算过程全部完成才退出，它有两个功能，一个是提交，一个是监控 jar 包运行（测试环境下使用）
    cluster 模式     在提交端生成的 JVM 在提交 jar 包后会退出，它只有一个提交功能，然后在某一个 worker 上会生成一个 Driver 的 JVM，该 JVM 执行监控 jar 包运行的功能，等待所有代码运行完毕退出（生产环境下使用 ）
application.jar 指定你的 jar 包的地址
arguments       传给 main() 方法的参数

执行通过 $ /opt/module/spark-2.1.1-bin-hadoop2.7/bin/spark-shell 来运行。
如果不设置 master 那么默认运行在本机节点；如果设置 --master spark://hadoop102:7077  那么运行在 Spark Standalone 模式集群。