加米谷大数据

加米谷大数据实战经验分享,大数据项目分享,大数据开发培训等
217 篇文章
52 人订阅

spark

加米谷大数据

0基础大数据开发Spark要学习什么内容?

Spark 是专为大规模数据处理而设计的快速通用的计算引擎。用来构建大型的、低延迟的数据分析应用程序。可用它来完成各种各样的运算,包括 SQL 查询、文本处理、...

852
加米谷大数据

Spark的适用场景

从Spark的设计理念(基于内存的迭代计算框架)出发,其最适合有迭代运算的或者需要多次操作特定数据集的应用场合。并且迭代次数越多,读取的数据量越大,Spark的...

821
加米谷大数据

Spark和Hadoop对比有什么区别?

Spark主要用于大数据的计算,而Hadoop以后主要用于大数据的存储。Spark+Hadoop,是目前大数据领域最热门的组合。

1173
加米谷大数据

大数据开发需要学习哪些技术?

Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射、多...

682
加米谷大数据

大数据技术分享:十大开源的大数据技术

大数据已然成为当今热门的技术之一,开源让越来越多的项目可以直接采用大数据技术,下面就来盘点受欢迎的十大开源的大数据技术。

1133
加米谷大数据

Java转行大数据可行吗?

提到大数据,很多人会想到Java,提到Java,也会想到大数据,二者有什么关系呢?哪个发展更好?

1072
加米谷大数据

常见的七种Hadoop和Spark项目案例你们了解了吗

大数据中比较火爆的Hadoop、Spark和Storm,最常见的七种项目你们是否已经了解到位了呢,下面一起了解一下吧

1594
加米谷大数据

比拼生态和未来,Spark和Flink哪家强?

Spark 是最活跃的 Apache 项目之一。Spark 的开源社区一度达到上千的活跃贡献者。最主要推动者是 Databricks,由最初的 Spark 创...

882
加米谷大数据

大数据入门之Hadoop基础学习

目前人工智能和大数据火热,使用的场景也越来越广,日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解。

1002
加米谷大数据

spark2.1.0的配置与源码分析

Spark作为一款优秀的计算框架,也配备了各种各样的系统配置参数(例如:spark.master,spark.app.name,spark.driv...

982
加米谷大数据

大数据技术分享:十大开源的大数据技术

大数据已然成为当今热门的技术之一,开源让越来越多的项目可以直接采用大数据技术,下面就来盘点受欢迎的十大开源的大数据技术。

1603
加米谷大数据

【技术分享】Spark和Hadoop之间的区别

大数据开发中Spark和Hadoop作为辅助模块受到了很大的欢迎,但是Spark和Hadoop区别在哪?哪种更适合我们呢,一起了解一下它们之间的区别。

852
加米谷大数据

7种最常见的Hadoop和Spark项目

称之为“企业级数据中心”或“数据湖”,这个想法是你有不同的数据源,你想对它们进行数据分析。这类项目包括从所有来源获得数据源(实时或批处理)并且把它们...

1271
加米谷大数据

大数据基础之Spark

Spark 是 2010 年由 UC Berkeley AMPLab 开源的一款 基于内存的分布式计算框架,2013 年被Apache 基金会接管,是当前大数据...

952
加米谷大数据

Spark核心谈

在大数据领域,Spark平台因计算模型涵盖MapReduce,Streaming,SQL,Machine Learning,Graph等,为大数据计算提供一栈式...

1451
加米谷大数据

什么是 Apache Spark?大数据分析平台详解

自从 Apache Spark 2009 年在 U.C. Berkeley 的 AMPLab 默默诞生以来,它已经成为这个世界上最重要的分布式大数据框架之一。S...

1503
加米谷大数据

Spark Streaming应用与实战全攻略

有一块业务主要是做爬虫抓取与数据输出,通过大数据这边提供的SOA服务入库到HBase,架构大致如下:

1703
加米谷大数据

Spark RDD Map Reduce 基本操作

RDD是Spark中的抽象数据结构类型,任何数据在Spark中都被表示为RDD。从编程的角度来看,RDD可以简单看成是一个数组。和普通数组的区别是,RDD中的数...

1492
加米谷大数据

【活动回顾】成都理工信科院大数据技术讲座

981
加米谷大数据

Spark适用场景以及与Hadoop MapReduce优势对比

3153

扫码关注云+社区

领取腾讯云代金券