spark原著
由于数据量的增长，应用需扩展到集群模式，但是可编程的集群带来了一些挑战。
- 并行化，以并行方式重写应用
- 容错，集群下节点故障和慢节点变为常态
- 动态扩展与缩减资源
现存在编程模型：
MapReduce 批处理计算模型 Pregel 图处理模型 Strom/impala 流式处理模型
spark的不同之处是，设计一个统一的编程抽象模型
spark优势：
- 支持批处理，交互式，迭代和流计算，而且比单一模式系统性能更高。
- 以小代价提供节点故障和慢节点容忍功能。
- 允许弹性扩缩容和响应式共享资源
- 性能比mapReduce高100倍。
RDDs的实现后，可以基于它来实现一栈式的大数据系统
专业系统的缺点：
- 每一个专业系统都需要解决重叠的需求，例如分布式，容错性。所以他们存在重复新工作。
- 不同系统的组合计算昂贵又笨重，对于大数据来说数据的迁移是特别耗费资源。
- 资源共享难，大多数引擎运行期间拥有自己一套系统。
- 管理复杂，需要学习更多的API和执行模型
RDDs优点
- 计算中的数据共享，虽然那些看似不适合MapReduce计算任务，例如迭代，交互性，流处理之间存在明显的不同，其实他们要求在计算阶段具有高效的数据共享，这也是RDDs优于MapReduce的地方。
- 避免复制的容错分布式存储概念，独立计算模型的存储概念只有提供可复制文件系统的概念，RDDs提供了 避免 复制的容错分布式存储概念，每一个 RDD 都会记住由构建它的那些操作所 构成的一个图，类似于批处理计算模型，可以有效地 重新 计算因故障丢失的数据。
弹性分布数据集(RDD)
mapreduce编程模型随着集群负载的增加，出现低效率问题。
发现，很多数据流模型在计算中需要高效的数据共享，都需要多次访问相同的数据集。
但是，两个mapreduce作业之间共享数据只有一个办法，就是将其写入一个稳定的外部存储系统（HDFS）,这会进行数据备份，磁盘I/O和序列化，这会占用大量时间。
RDDs可以直接控制数据的共享，具有可容错并行数据共享
现有的基于集群内存的存储抽象，都是基于细粒度更新接口（表中单元格更新），容错的方法只能是主机间复制数据，或者记录更新日志，会产生很高的代价。
RDD提供的是粗粒度变换的接口（map,filter），该接口会将操作应用到多个数据集上,只需要记录变换而不需要存储真正的数据，提高容错性。
RDD 编程接口
RDD是一个分区的只读记录集合。通过对稳定存储上的数据进行transform(变换)操作，而得到一个或多个RDD,然后调用action(动作)操作，这类操作 的目的或是返回一个值，或是将数据导入到存储系统。，Spark 直到RDD第一次调用一个动作时才真正计算 RDD。这也就使得 Spark 可以按序缓存多个变换.transform也被称为惰性操作。 当然也可以直接调用持久化方法，调用过 persist 的 RDD 存在内存中。 例如：
errors = lines.filter(_.startsWith(MERROR"))
errors.persist() spark与传统分布式对比：
Spark 运行时，用户的驱动程序启动多个 worker，worker 从分布式文件系统中读 取数据模块，并且可以将计算好的 RDD 分区持久化到内存中。
RDDs的缺陷
RDDS 不太适用于通过异步细粒度更新来 共享状态的应用，比如针对 Web 应用或增量网络爬虫的存储系统。对于这些应用，那些传统 的更新日志和数据检查点的系统会更有效
抽象RDD
一个RDD要尽可能多的提供各种RDD的变换操作，并允许用户进行随意的组合。
我们提供一个通用的接口来抽象每一个RDD,这个抽象的RDD封装5种信息：
- 分区，
- 依赖关系，依赖关系分为窄依赖(父RDD最多有一个子RDD使用，例如map)宽依赖(多个子分区依赖一个RDD,例flatmap)
这两种依赖的的区别从两个方面来说比较有用。首先，窄依赖允许在单个集群节点上流水线式执行，这个节点可以计算所有父级分区。例如，可以逐个元素地依次执行filter操作和map操作。相反，宽依赖需要所有的父RDD数据可用并且数据已经通过类 MapReduce的操作shuffle完成。其次，在窄依赖中，节点失败后的恢复更加高效。因为只有丢失的父级分区需要重新计算，并且这些丢失的父级分区可以并行地在不同节点上重新计算。与此相反，在宽依赖的继承关系中，单个失败的节点可能导致一个 RDD 的所有先祖RDD中的一些分区丢失，导致计算的重新执行。
内存管理
Spark提供三种持久化RDD存储策略：未序列化Java对象存于内存中，序列化后数据存于内存以及磁盘存储。
RDD特性：
- 在一个集群中对任意记录具有不变性的存储
- 通过每一条记录的key来控制数据分区
- 将粗粒度用于分区操作
- 利用内存存储的低延迟特性