数据科学与人工智能-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

数据科学与人工智能

专栏成员

811

文章

1060146

阅读量

171

订阅数

【大数据框架】Hadoop和Spark的异同

大数据 hadoop spark apache

谈到大数据，相信大家对 Hadoop 和 Apache Spark 这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨一起看下它们究竟有什么异同。 1 解决问题的层面不一样首先，Hadoop 和 Apache Spark 两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop 实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务器硬件。同时，Hadoop 还会索引

陆勤_数据人网

2018-02-27

7100

【Spark框架】运用Spark加速实时数据分析

spark 数据分析 apache hadoop

Apache Hadoop是一个成熟的开发框架,其连接着庞大的生态系统，并且得到了Cloudera、Hortonwork、Yahoo这些卓越机构的支持与贡献，并且为各个组织提供了许多工具来管理不同大小规则的数据。在过去，Hadoop中运用MapReduce进行批处理的特性足以满足许多组织的处理需求。然而，随着信息化时代的发展，越来越多组织亟需使用更加快速的数据处理。这些需求来自各个领域的驱动，其中包括最近发展的流媒体技术、物联网、实时分析处理，这些也仅仅只是其中一部分。他们需要一套新的数据处理模型。在今天

陆勤_数据人网

2018-02-27

7220

【Spark研究】用Apache Spark进行大数据处理第二部分：Spark SQL

spark apache 大数据

在Apache Spark文章系列的前一篇文章中，我们学习了什么是Apache Spark框架，以及如何用该框架帮助组织处理大数据处理分析的需求。 Spark SQL，作为Apache Spark大数据框架的一部分，主要用于结构化数据处理和对Spark数据执行类SQL的查询。通过Spark SQL，可以针对不同格式的数据执行ETL操作（如JSON，Parquet，数据库）然后完成特定的查询操作。在这一文章系列的第二篇中，我们将讨论Spark SQL库，如何使用Spark SQL库对存储在批处理文件、JSO

陆勤_数据人网

2018-02-27

3.3K0

【Spark研究】用Apache Spark进行大数据处理第一部分：入门介绍

spark apache 大数据开源

什么是Spark Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势。首先，Spark为我们提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理的需求。 Spark可以将Hadoop集群中的应用在内存中的运行速度提

陆勤_数据人网

2018-02-27

1.5K0

【Spark研究】Spark之工作原理

spark apache hadoop mapreduce

基本概念理解Spark的运行模式涉及一系列概念：（1）Cluster Manager：在集群上获取资源的外部服务。目前有三种类型：1. Standalone, Spark原生的资源管理；2. Apache Mesos, 和Hadoop Mapreduce兼容性良好的资源调度框架；3. Hadoop Yarn, 主要指YARN中的ResourceManager. （2）Application: 用户编写的应用应用程序。（3）Driver: Application中运行main函数并创建的SparkC

陆勤_数据人网

2018-02-27

1.3K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态