Spark企业级应用开发和调优

1.Spark企业级应用开发和调优

Spark项目编程优化历程记录,主要介绍了Spark企业级别的开发过程中面临的问题和调优方法。包含合理分配分片,避免计算中间结果(大数据量)的collect,合理使用map,优化广播变量等操作,降低网络和磁盘IO,提高计算效率。

2.核心技术优化方法对比

首先如下图(2.1),Spark应用开发在集群(伪分布式)中的记录,每一种不同颜色的折线代表一个分布式机器

最终,图4中四条折线并行达到峰值(即CPU100%).降低了处理时间,增大了处理效率.

2.1.重要并行计算模型构建对比

图1 传统方式计算模型在模拟集群计算概览图

图2 spark并行模型1在模拟集群并行计算概览图

图3 spark并行模型2在模拟集群并行计算概览图

图4 spark并行模型3在模拟集群并行计算概览图

2.2.Spark优化技术要点

2.2.1.如何构建一个合理的弹性分布式数据集(RDD)

Spark之所以快速,一是分而治之,二是允许基于内存计算. 第一步,常用的构建一个分布式数据方式:

  • 方式一:基于文件读取
    • textFile(name, minPartitions=None, use_unicode=True) 返回RDD,可以读取text本地文件,HDFS等等
sc.textFile("file:///native/dir")
sc.textFile("/HDFS/dir")
  • 方式二:基于内存读取
    • parallelize(c, numSlices=None) 返回RDD,基于内存读取.
sc.parallelize([0, 2, 3, 4, 6], 5).glom().collect()

在项目模型中,计算模型将的x,y坐标xyload = sc.parallelize(xyload)通过内存读成RDD模式.

2.2.2.如何处理一个弹性分布式数据集

在处理弹性是分布式数据集之前,应该充分利用RDD本质的性质,RDD执行策略是懒操作,在转换和执行两个状态中,只有执行才会真正去计算,如将一个文件textFile至RDD,这个文件并没有做物理上的动作,而RDD只是逻辑映射,当执行college或者split等可以返回一个新RDD时,才会发生资源分配,计算.可以简单理解为,一个RDD转变成另个新的RDD时,才发生了真正的资源调度,计算,IO等操作.

在项目中,

cellist=xyload.map(getCellList)
cellisttxt = cellist.filter(lambda x : x != None)

其中,

  • map
map(f, preservesPartitioning=False)

返回一个新的RDD,并对RDD中的每个元素做操作(如功能函数的运算或者定义的循环,针对的元素级别的) 在项目中,实现Celllist循环操作,操作级别对弹性分布式元素中的每个元素.

  • filter(f)
cellisttxt = cellist.filter(lambda x : x != None)

返回一个新的RDD,包含满足功能函数的元素. 在项目中,实现返回cellist中元素去除None元素,保证RDD后续业务操作正确性.

2.2.3.如何优化处理数据过大的中间结果

RDD的collect操作可以实现元素级别的聚合,但是这个执行过程会造成单一driver大量IO,内存占用过大,网络传输量大等等瓶颈.

所以,在getcellist方法后,将分布式持久化,然后再通过文件批量依次读取过程,避开driver开销过大的难题.

2.2.4.广播变量的合理使用

增加广播变量降低读写。适用于某变量需要反复使用,如在各个分片中都有一个数组固定的计算值,这个数组不要反复从文件读取而直接用广播变量,最大限度降低集群的IO.

3.大数据模型开发历程

由图5,在企业中开发Spark应用,以接口的服务方式,第一次post大数据平台文件上传服务,上传所需的数据文件,二次post调用服务接口,传入Spark分布式模型必备的参数,包括执行本次执行ID,输入路径,输出路径.一期模型开始监控大数据平台执行返回的状态.

此时,基于每个RDD内存做计算,map操作得到getcellist,并通过filter去除脏数据(None),形成中间结果,分布式持久化,最后通过numpy依次读取持久化文件,并做排序后保存成最终结果.

图5 分布式Spark模型的主要执行过程示意图

最终,业务平台通过大数据平台监控得到执行成功状态信号,get最终结果文件至业务平台.

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏蘑菇先生的技术笔记

浅谈分布式计算的开发与实现(一)

2777
来自专栏Java与Android技术栈

响应式和函数式,两个容易混淆的概念

传统的编程方式,是顺序执行的,上一个任务没有完成的话需要等待直至完成之后才会执行下一个任务。无论是提升机器的性能还是代码的性能,本质上都需要依赖上一个任务的完成...

781
来自专栏数据库

时序数据库技术体系(二)–初识InfluxDB

在上篇文章《时序数据库体系技术 – 时序数据存储模型设计》中笔者分别介绍了多种时序数据库在存储模型设计上的一些考虑,其中OpenTSDB基于HBase对维度值进...

3026
来自专栏腾讯移动品质中心TMQ的专栏

实践单元测试的姿势

我们应该如何编写单元测试的代码?当遇到被测代码可测性差时如何解决?本文试着从个人实践出发来阐述这两个问题。

1800
来自专栏Albert陈凯

Spark中Task,Partition,RDD、节点数、Executor数、core数目的关系

Spark中关于并发度涉及的几个概念File,Block,Split,Task,Partition,RDD以及节点数、Executor数、core数目的关系。 ...

3346
来自专栏Albert陈凯

Hadoop数据分析平台实战——050MapReduce结构以及编程模型介绍(做过MR程序略过)离线数据分析平台实战——050MapReduce结构以及编程模型介绍(做过MR程序略过)

离线数据分析平台实战——050MapReduce结构以及编程模型介绍(做过MR程序略过) MapReduce结构介绍 MapReduce(YARN)是Hadoo...

2757
来自专栏ThoughtWorks

都100%代码覆盖了,还会有什么问题?

(图片来自:http://t.cn/R06rQHi) 引言 很多人看到这个标题时,都会想“你都100%代码覆盖了,怎么还会有问题呢?” 让我们看一下代码例子:...

3578
来自专栏Spark学习技巧

不可不知的spark shuffle

一个spark的RDD有一组固定的分区组成,每个分区有一系列的记录组成。对于由窄依赖变换(例如map和filter)返回的RDD,会延续父RDD的分区信息,以p...

993
来自专栏吉浦迅科技

DAY53:阅读Profiler Counter Function

Each multiprocessor has a set of sixteen hardware counters that an application c...

432
来自专栏铭毅天下

Elasticsearch聚合优化 | 聚合速度提升5倍!

? 1、聚合为什么慢? 大多数时候对单个字段的聚合查询还是非常快的, 但是当需要同时聚合多个字段时,就可能会产生大量的分组,最终结果就是占用 Elastic...

4517

扫码关注云+社区