腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

加米谷大数据

加米谷大数据实战经验分享，大数据项目分享，大数据开发培训等

专栏作者

296

文章

345529

阅读量

61

订阅数

详解Spark在大数据生态当中的定位

spark hadoop mapreduce 分布式大数据

大数据发展到现在，提到大数据计算引擎，Spark一定是大家不能忽视的一个。经过这些年来的发展，Spark在大数据行业中的市场占有率也在不断提高，能够自己独立支持集群运，还能够与Hadoop生态集成运行，因此受到大家的广泛欢迎。今天加米谷学院就来为大家来聊一聊，Spark在大数据生态当中的定位。

加米谷大数据

2020-07-10

8410

Hadoop与Spark区别介绍

spark hadoop mapreduce 分布式大数据

在大数据的领域中，被频频提到的两个技术名词是什么呢？只要涉及到大数据技术，基本上Hadoop和Spark这两者是肯定都在的。那么作为目前大数据应用当中常用的技术，作为大数据从业者，这两类都是必须要掌握的。下面加米谷学院就来带大家一起看看Hadoop与Spark有哪些区别？

加米谷大数据

2020-07-10

7820

Java开发人员学习Hadoop的5大理由

hadoop java mapreduce 大数据 spark

技术永无止境，因此，技术专业人员也不应停止进步。如果您想成长，则需要不断更新自我，以领先于日益增长的竞争。因此，确定您所在领域的热点，分析最新趋势，以识别技术领域不断增长的细分市场，然后继续前进。

加米谷大数据

2020-06-02

8890

10本值得你读的Apache Spark书籍

spark apache 大数据数据结构机器学习

Apache Spark是Apache的开源大数据框架，具有与SQL，流，图处理和机器学习有关的内置模块。它于2010年开源，从一开始就对大数据和相关技术产生了明显影响，因为它很快吸引了250多个组织和超过1000个参与者的关注。拥有众多Apache Spark书籍，很难找到用于自学的最佳书籍。

加米谷大数据

2020-06-02

4.2K0

传统金融IT男转型互联网大数据码农（下）

hadoop hive spark 大数据编程算法

环境准备：本地弄了五台虚拟机，开始搭建 Hadoop 集群，版本的话老师建议我们选择的 Hadoop 2.6.5(企业要的比较多的)

加米谷大数据

2020-05-22

6990

Flink及Storm、Spark主流流框架比较，到底谁会更胜一筹？

flink 大数据 spark unix

那么有spark和storm这样成熟的计算框架存在，为什么flink还能占有一席之地呢?今天我们就从流处理的角度将flink和这两个框架进行一些分析和比较。随着大数据时代的来临，大数据产品层出不穷。

加米谷大数据

2020-05-18

3.6K0

大数据0基础学习有哪些阶段？

java spark 大数据网站 linux

Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射、多线程、Swing程序与集合类。

加米谷大数据

2020-05-09

3970

成为大数据工程师必备的技能有哪些？（下）

spark http sql scala

http://www.runoob.com/scala/scala-tutorial.html

加米谷大数据

2020-05-09

5260

大数据平台的整体架构介绍

spark mapreduce 爬虫网站任务调度

日志是大数据平台重要数据来源之一，应用程序日志一方面记录各种程序执行状况，一方面记录用户的操作轨迹。Flume 是日志收集常用的工具。

加米谷大数据

2019-12-23

2.7K0

大数据开发学习：Spark必知基本概念

spark 分布式 java 大数据

内存计算引擎，提供Cache机制来支持需要反复迭代计算或者多次数据共享，减少数据读取的IO开销，值得注意的是，spark并不是将所有的数据都写入内存，相反spark默认是将数据写入磁盘，但spark支持将数据写入内存并计算。

加米谷大数据

2019-11-26

2640

大数据平台架构的组成

大数据数据库 sql 存储 spark

是指以处理海量数据存储、计算及不间断流数据实时计算等场景为主的一套基础设施。典型的包括Hadoop系列、Spark、Storm、Flink以及Flume/Kafka等集群。

加米谷大数据

2019-10-15

2.6K0

大数据计算：Storm vs Flink

分布式 rpc spark windows

大数据技术中常见的大数据实时计算引擎有Spark、Storm、Flink等，目前有很多公司已经将计算任务从旧系统 Storm 迁移到 Flink。

加米谷大数据

2019-09-09

1.5K0

0基础大数据开发Spark要学习什么内容？

spark api scala sql

Spark 是专为大规模数据处理而设计的快速通用的计算引擎。用来构建大型的、低延迟的数据分析应用程序。可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等。

加米谷大数据

2019-06-05

5100

Spark的适用场景

spark 存储网站大数据数据处理

从Spark的设计理念（基于内存的迭代计算框架）出发，其最适合有迭代运算的或者需要多次操作特定数据集的应用场合。并且迭代次数越多，读取的数据量越大，Spark的应用效果就越明显。

加米谷大数据

2019-06-05

3.7K0

Spark的发展历史

spark 大数据 api sql 机器学习

Spark是一种通用的大数据计算框架，使用了内存内运算技术。今天加米谷大数据就来简单介绍一下Spark的简史。

加米谷大数据

2019-06-05

3.8K0

Spark和Hadoop对比有什么区别？

spark hive sql 大数据 mapreduce

Spark主要用于大数据的计算，而Hadoop以后主要用于大数据的存储。Spark+Hadoop，是目前大数据领域最热门的组合。

加米谷大数据

2019-06-05

4.1K0

大数据开发需要学习哪些技术？

大数据 spark hadoop python 机器学习

Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射、多线程、Swing程序与集合类

加米谷大数据

2019-04-19

3300

大数据技术分享：十大开源的大数据技术

spark apache hive sql

大数据已然成为当今热门的技术之一，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点受欢迎的十大开源的大数据技术。

加米谷大数据

2019-04-19

8590

Java转行大数据可行吗？

java 大数据 hadoop spark

提到大数据，很多人会想到Java，提到Java，也会想到大数据，二者有什么关系呢？哪个发展更好？

加米谷大数据

2019-04-19

5040

常见的七种Hadoop和Spark项目案例你们了解了吗

spark hadoop sas 存储

大数据中比较火爆的Hadoop、Spark和Storm，最常见的七种项目你们是否已经了解到位了呢，下面一起了解一下吧

加米谷大数据

2019-01-09

5380

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态