运用Spark加速实时数据分析

Apache Hadoop是一个成熟的开发框架,其连接着庞大的生态系统,并且得到了Cloudera、Hortonwork、Yahoo这些卓越机构的支持与贡献,并且为各个组织提供了许多工具来管理不同大小规则的数据。 在过去,Hadoop中运用MapReduce进行批处理的特性足以满足许多组织的处理需求。然而,随着信息化时代的发展,越来越多组织亟需使用更加快速的数据处理。这些需求来自各个领域的驱动,其中包括最近发展的流媒体技术、物联网、实时分析处理,这些也仅仅只是其中一部分。他们需要一套新的数据处理模型。在今天,能够满足上文提到的需求而引起了业界人士浓厚兴趣与广泛的支持的一项重要的新技术,就是Apache Spark。从能源产业到金融行业,Spark凭借其高效性与多功能性已经成为当今大数据处理栈中的关键部分。 Spark是一个比MapReduce更加灵活的开源且通用的计算框架。Spark凭借其高速的内存计算,在函数式编程中与Hadoop相比更具生产力。例如,如图1所示,在逻辑回归算法性能测试中,Spark内存计算下的运行比Hadoop MapReduce快了几个数量级的速度。

图1:逻辑回归算法性能测试。图片来源:Apache Spark,使用已经过授权。

其中Spark的一些特性包括:

  • 它利用分布式内存进行计算。
  • 它支持完整的用有向无环图(DAG)来展示数据的并行计算。
  • 它可以提高开发人员的经验。
  • 它提供了线性可伸缩性与数据本地化。
  • 它具有容错机制。

Spark为各种不同的用户提供着便利:信息技术开发人员可以受益于Spark支持各种流行的开发语言,例如Java、Python、R语言;而数据科学家可以在Spark支持的机器学习(ML)库中获得研究便利。 在Spark中还有一个庞大且不断增长的第三方包列表,将各式各样的工具、环境、框架、语言整合到一起,从而扩展Spark的复杂性以及能力。 Spark用例可以部署在不同的生产场景中,其中包括在一个大型技术公司中运用Spark通过使用机器学习来进行个性化搜索;在一个金融系统中仅需数小时便可以处理数以百万计的股票分析,要知道相同的工作量下此前使用Hadoop MapReduce起码得耗费一周的时间;在学术环境中进行基因科学研究;在视频系统中,Spark与Spark Streaming被用于处理流媒体及其分析;以及卫生保健领域中Spark被用于进行疾病的预测建模。 如此看来似乎各式各样不同的问题都能通过Spark成功地被解决,但是最重要的是我们仍需要不断去优化Spark的架构,以处理任何所提及到的用例。正如Spark拥有强大的特性,简而言之,这也意味着它的复杂性。因此,为了获得最佳性能的Spark,它需要成为一个更广泛的Hadoop基础数据管理平台的重要组成部分。此外,为了能在实时或者预测分析中得到更大收益,那么优化整个数据供应链也是至关重要的。

原文发布于微信公众号 - 我是攻城师(woshigcs)

原文发表时间:2015-10-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

【工具】一张图测试你的Hadoop能力-Hadoop能力测试图谱

1.引言   看到一张图,关于Hadoop技术框架的图,基本上涉及到Hadoop当前应用的主要领域,感觉可以作为测试Hadoop开发人员当前能力和水平的比较好的...

2923
来自专栏VRPinea

VR机甲游戏《Vox Machinae》回来了,运动输入让玩家更“入戏”

3708
来自专栏CSDN技术头条

Databricks公司联合创始人、Spark首席架构师辛湜:Spark发展,回顾2015,展望2016

【CSDN现场报道】2015年12月10-12日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所、北京中科天玑科技有限公司...

34110
来自专栏华章科技

Hadoop之父Doug Cutting眼中大数据技术的未来

上次见到(膜拜)Hadoop之父Doug Cutting是在2年前,2014中国大数据技术大会上。今年Hadoop10岁,刚看到他的Hadoop十周年贺词,感觉...

1213
来自专栏PPV课数据科学社区

【聚焦】2015年获得大数据顶尖职位必备的9项技能

在大数据商品化之前, 利用大数据分析工具和技术来取得竞争优势已不再是秘密。2015年, 如果你还在职场上寻找大数据的相关工作, 那么, 这里介绍的9种技能,将帮...

3555
来自专栏云计算D1net

化繁为简 部署Hadoop有妙招

作为大数据技术的典范,Hadoop一直为采用大数据的企业祝福并诅咒着。Hadoop功能强大,却非常复杂,这使得很多企业都宁愿等待更容易的东西问世,再推出大数...

3446
来自专栏知晓程序

引爆腾讯线下活动,他们只用了一个印章

记得小学的时候放了学,几乎所有同学都会涌到校门口的小卖部,进行一项风靡一时活动:集卡。

1402
来自专栏CDA数据分析师

数据分析软件市场的8大苗头,告诉你真正的大势所趋!

紧张精彩的2015年已经结束了,现在是时候回过头来看一看数据分析软件市场的潮流。 已经有几个趋势继续变得壮大(比如开源,云托管,基于Hadoop的SQL解决方案...

2248
来自专栏CSDN技术头条

中国大数据六大技术变迁记

集“Hadoop中国云计算大会”与“CSDN大数据技术大会”精华之大成,历届的中国大数据技术大会(BDTC)已发展成为国内事实上的行业顶尖技术盛会。从2008年...

2325
来自专栏数据科学与人工智能

【Spark框架】运用Spark加速实时数据分析

Apache Hadoop是一个成熟的开发框架,其连接着庞大的生态系统,并且得到了Cloudera、Hortonwork、Yahoo这些卓越机构的支持与贡献,并...

2867

扫码关注云+社区

领取腾讯云代金券