其实Stage,Task都是Spark Core里就有的概念，Job 在Streaming和Spark Core里的概念则是不一致的。Batch则是Streaming特有的概念。
工作期间，我提交spark任务到yarn上，发现指定的资源（使用内存大小。使用core的个数）总是与yarn的UI页面显示的资源使用量不一致，写本文说明一下这个问题，以及介绍一下spark on yarn的资源配置。
本文翻译自https://blog.cloudera.com/blog/2019/07/yunikorn-a-universal-resource-scheduler/
Apache Dolphin Scheduler是一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。
导语 | Apache Spark 是专为大规模数据处理而设计的快速通用计算引擎，在数据挖掘和机器学习领域有着广泛的应用，现在也已形成一个高速发展、应用广泛的生态系统。本文将为大家详细介绍 Spark 的核心技术原理，希望与大家一同交流。文章作者：熊峰，腾讯大数据研发工程师。
一，简介 Spark调度机制可以理解为两个层面的调度。首先，是Spark Application调度。也就是Spark应用程序在集群运行的调度，应用程序包括Driver调度和Executor调度。其次，就是每个Spark Application都会有若干Jobs(Spark Actions)，然后这些job是以何种机制，在Executor上执行的，也是需要一个调度管理的机制，该层面调度也可以理解为SparkContext内部调度。之所以会出现这种情况，主要是生产中可能会希望一个SparkContext作为服
使用的spark是2.0.1，hive是1.2.1，hbase是1.2.4，hadoop是2.6.0，zookeeper是3.4.9
http://blog.csdn.net/u011239443/article/details/52127689
创建TaskScheduler的源代码为SparkContext.createTaskScheduler，如下所示。该方法会根据master的配置匹配部署模式，每种部署模式中都会创建两个类（TaskSchedulerImpl、SchedulerBackend）的实例，只是TaskSchedulerImpl都相同，SchedulerBackend不同。
这篇文章接上一篇spark submit读写hudi,上一篇spark submit写入hudi的数据这里打算通过spark sql来进行查询
yarn cluster模式：spark driver和application master在同一个节点上 yarn client模式：spark driver和client在同一个节点上，支持shell
SparkContext在整个Spark Core中的地位毋庸置疑，可以说是核心中的核心。它存在于Driver中，是Spark功能的主要入口，如果没有SparkContext，我们的应用就无法运行，也就无从享受Spark为我们带来的种种便利。
在讲解SparkContext组件初始化时，第一个初始化的内部组件就是LiveListenerBus，后面的组件很多都会依赖它，这从侧面说明事件总线是非常重要的支撑组件。在对SparkContext有了大致的了解之后，我们选择事件总线作为探索Spark底层的起点。
Kubernetes 是作为新的 resouceManager 集成到 Spark 中的，集成的思路跟将 YARN 集成是类似的，Spark 本身提供 Standalone 这种资源管理的模式，当然是不够的。
yum install autoconfautomake libtool cmake
编写 shell 脚本，定期检测 master 状态，出现宕机后对 master 进行重启操作
近日新写完的spark任务放到yarn上面执行时，在yarn的slave节点中一直看到报错日志:连接不到0.0.0.0:8030 。 1 The logs are as below: 2 2014-08-11 20:10:59,795 INFO [main] org.apache.hadoop.yarn.client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8030 3 2014-08-11 20:11:01,838 INFO [main] or
https://blog.csdn.net/zym1117/article/details/79532458
官网 : https://dolphinscheduler.apache.org/en-us/
这一块代码可以理解为 Spark 是如何实现一个基于 K8S 的调度器，来调度生成 Executor Pod 的。
在Spark框架中，应用程序的提交离不开Spark Driver，而Spark Driver的初始化始终围绕SparkContext的初始化，可以说SparkContext是Spark程序的发动机引擎，有了它程序才能跑起来，在spark-core中，SparkContext重中之重，它提供了很多能力，比如生成RDD，比如生成广播变量等，所以学习SparkContext的组件和启动流程有助于剖析整个Spark内核的架构。
项目中用的是Spark Structrued Streaming ，也就是Spark 2.0的新版Streaming，看官方文档也说过性能及实时性会比之前的Dstreaming好点，但是相关的资料相比Dstreaming实在是少很多，现在调优阶段很多都要参考Dstreaming的文章以及经验。
上一篇博文《深入理解Spark 2.1 Core （二）：DAG调度器的实现与源码分析 》讲到了DAGScheduler.submitMissingTasks中最终调用了taskScheduler.submitTasks来提交任务。
Spark的运行模式 📷 Spark的运行模式多种多样，灵活多变，部署在单机上时，既可以用本地模式运行，也可以用伪分布模式运行，而当以分布式集群的方式部署时，也有众多的运行模式可供选择，这取决于集群的实际情况，底层的资源调度即可以依赖外部资源调度框架，也可以使用Spark内建的Standalone模式。对于外部资源调度框架的支持，目前的实现包括相对稳定的Mesos模式，以及hadoop YARN模式。 本地模式：常用于本地开发测试，本地还分别 local 和 local cluster （1）standal
之前我们提到大数据的时候就会提到Hadoop，Hadoop是大数据的基础框架，是大数据技术的代表。提到HDFS、MapReduce、Yarn，提到HBase、Hive、TEZ等Hadoop生态圈中的一个又一个开源组件。但是最近好像有点不一样了。
添加针对scala文件的编译插件 ------------------------------ <?xml version="1.0" encoding="UTF-8"?> <project xml
DRA has already been implemented since Spark 1.2 . However the existing Spark DRA on Yarn implementation does not embody the specific property of Spark Streaming.
下面这些关于 Spark 的性能调优项，有的是来自官方的，有的是来自别的的工程师，有的则是我自己总结的。
Apache YuniKorn（Incubating）是一个独立的资源调度程序，旨在将针对大数据工作负载的高级调度功能引入容器化平台。具体可以参考前面的文章《YuniKorn：一个通用的资源调度程序》。
在DAGScheduler划分为Stage并以TaskSet的形式提交给TaskScheduler后，再由TaskScheduler通过TaskSetMagager对taskSet的task进行调度与执行。
作者｜吴建阳 翁建清 策划｜褚杏娟 AWS Elastic MapReduce(以下简称 EMR) 是集齐数据接入、存储、计算、交互式查询、机器学习等一系列开源社区组件封装的云上托管大数据平台，用户可以基于 EMR 迅速拉起一套大数据集群，用于大规模数据处理、分析，使用时可根据实际业务所需灵活调配计算资源，一定程度上降低底层基础设施运维成本。AWS 是最早将大数据管理平台上云的云厂商，查询其官网发行版本记录，能检索到的最古老版本 EMR-4.2.0 发布日期为 2015 年 11 月 18 日，当是时
下面这些关于Spark的性能调优项，有的是来自官方的，有的是来自别的的工程师，有的则是我自己总结的。
以 Flink 和 Spark 为代表的分布式流批计算框架的下层资源管理平台逐渐从 Hadoop 生态的 YARN 转向 Kubernetes 生态的 k8s 原生 scheduler 以及周边资源调度器，比如 Volcano 和 Yunikorn 等。这篇文章简单比较一下两种计算框架在 Native Kubernetes 的支持和实现上的异同，以及对于应用到生产环境我们还需要做些什么。
问题导读 1.如何进入spark shell？ 2.spark shell中如何加载外部文件？ 3.spark中读取文件后做了哪些操作？ about云日志分析，那么过滤清洗日志。该如何实现。这里参考国外的一篇文章，总结分享给大家。 使用spark分析网站访问日志，日志文件包含数十亿行。现在开始研究spark使用，他是如何工作的。几年前使用hadoop，后来发现spark也是容易的。 下面是需要注意的： 如果你已经知道如何使用spark并想知道如何处理spark访问日志记录，我写了这篇短的文章，介
DAGScheduler面向我们整个Job划分出了Stage，划分了Stage是从后往前划分的，执行的时候是从前往后，每个Stage内部有一系列任务，Stage里面的任务是并行计算的，这些并行计算的任务的逻辑是完全相同的，只不过是处理的数据不同而已。DAGScheduler会以TaskSet的方式以一个DAG构造的Stage中所有的任务提交给底层调度器TaskScheduler，TaskScheduler是一个接口（做接口的好处就是跟具体的任务调度解耦合，这样Spark就可以运行在不同的资源调度模式上Standalone，yarn，mesos等）这符合面向对象中依赖抽象而不依赖具体的原则，带来了底层资源调度器的可插拔性，导致Spark可以运行在众多的资源调度器模式上。
collect是Spark RDD一个非常易用的action，通过collect可以轻易获得一个RDD当中所有的elements。当这些elements是String类型的时候，可以轻易将整个RDD转化成一个List<String>,简直不要太好用。 不过等一等，这么好用的action有一个弱点，它不适合size比较的element。举个例子来说吧。请看下面这段代码： ... ... JavaPairInputDStream<String, String> messages = KafkaUtils.cr
Spark在standalone模式下，默认是使用FIFO的模式，我们可以使用spark.cores.max 来设置它的最大核心数，使用spark.executor.memory 来设置它的内存。 在YARN模式下，使用--num-workers设置worker的数量，使用--worker-memory设置work的内存，使用--worker-cores设置worker的核心数。 下面介绍一下怎么设置Spark的调度为Fair模式。 在实例化SparkContext之前，设置sp
TaskSceduler在具体创建的时候，是由不同发布模式比如standalone、yarn、mesos决定的，返回一个SchedulerBackend.
现象 执行Spark Streaming Application时报错 15/07/09 11:26:55 INFO scheduler.JobGenerator: Stopping JobGenerator immediately 15/07/09 11:26:55 INFO util.RecurringTimer: Stopped timer for JobGenerator after time -1 15/07/09 11:26:55 INFO streaming.CheckpointWriter:
1）本地模式 Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。将Spark应用以多线程的方式直接运行在本地，一般都是为了方便调试，本地模式分三类 local：只启动一个executor local[k]:启动k个executor local[ * ]:启动跟cpu数目相同的 executor
大家好，我是梦想家Alex ~ 今天为大家带来大数据开发面试中，关于 Spark 的 28 个高频考点 。
本文原文 http://www.leonlu.cc/profession/19-spark-shuffle ，作者 LeonLu
本文记录了在CDH5.16.2集群上集成Dolphin Scheduler 1.3.1的详细流程，特别注意一下MySQL数据库的连接串！
下面我们就来讲解一些常用的Spark资源配置的参数吧，了解其参数原理便于我们依据实际的数据情况进行配置。
os.environ['PYSPARK_PYTHON'] 的值设置为 你自己电脑上的 python.exe 绝对路径即可 , 不要按照我电脑上的 Python 解释器路径设置 ;
减少资源时，采用启发式算法。根据之前周期的处理时间，计算需要保留的资源量(A)，然后尝试分多轮试探性的减少(B),每个计算周期都会重复A,B动作，最后会收敛到一个具体的数值。
前几篇博文都在介绍Spark的调度，这篇博文我们从更加宏观的调度看Spark，讲讲Spark的部署模式。Spark部署模式分以下几种：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
