0基础大数据开发Spark要学习什么内容?

Spark 是专为大规模数据处理而设计的快速通用的计算引擎。用来构建大型的、低延迟的数据分析应用程序。可用它来完成各种各样的运算,包括 SQL 查询、文本处理、机器学习等。

简介

Spark 是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框架,是一种与 Hadoop 相似的开源集群计算环境,它扩展了MapReduce计算模型,高效的支撑更多计算模式,包括交互式查询和流处理。

Spark有火花,鼓舞的意思,称之为Spark的原因是,创始人希望这款产品能够激发基于Mesos的几款创新产品。

特性

高效:运行速度快

易用:支持Java、Python和Scala的API,支持多种高级算法

通用:提供了大量的库,提供了统一的解决方案

兼容:方便与其他的开源产品进行融合

基本组成

1)Spark Core

Spark的核心功能实现,将分布式数据抽象为弹性分布式数据集(RDD),实现了应用任务调度、RPC、序列化和压缩,并为运行在其上的上层组件提供API。相当于MapReduce。

2)Spark SQL

是Spark处理数据的一个模块,提供了非常强大的API。跟基本的Spark RDD的API不同,Spark SQL中提供的接口将会提供给Spark更多关于结构化数据和计算的信息。在内部,SparkSQL使用额外的结构信息来执行额外的优化,在外部,使用SQL和DataSet的API与之交互。

3)Spark Streaming

是Spark提供的实时数据进行流式计算的组件,能够和Spark的其他模块无缝集成。

4)Spark Mllib

提供常用机器学习算法的实现库,同时包括相关的测试和数据生成器。Spark的设计初衷就是为了支持一些迭代的Job, 这正好符合很多机器学习算法的特点。

5)Scala

是一门多范式的编程语言,一种类似Java的编程语言。Spark 是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架。

原文发布于微信公众号 - 加米谷大数据(DtinoneBD)

原文发表时间:2019-05-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券