首页
学习
活动
专区
工具
TVP
发布

一个会写诗的程序员的博客

专栏作者
1222
文章
2323032
阅读量
95
订阅数
图文详解 Spark 总体架构 [禅与计算机程序设计艺术]
本文对Spark总体架构进行描述,本文读者需要一定的Spark的基础知识,至少了解Spark的RDD和DAG。
一个会写诗的程序员
2021-12-20
1.1K0
Spark 极简教程
何谓计算引擎,一言以蔽之,就是专门处理数据的程序,在大数据之前,人们用数据库来处理数据,人们常说的SQL,它是一种DSL,它的背后正是数据库的计算引擎,但是数据库的计算和存储通常被集成在一起,统称为数据库引擎。
一个会写诗的程序员
2021-12-16
5260
Hadoop vs Spark
Hadoop vs Spark Big Data Architecture https://www.youtube.com/watch?v=xDpvyu0w0C8
一个会写诗的程序员
2021-12-16
2230
什么是 Spark RDD ?
RDD 是一个弹性的分布式的数据集,是 Spark 中最基础的抽象。它表示了一个可以并行操作的、不可变得、被分区了的元素集合。用户不需要关心底层复杂的抽象处理,直接使用方便的算子处理和计算就可以了。
一个会写诗的程序员
2021-12-16
5480
Spark Architecture 系统架构
Let's have a look at Apache Spark architecture, including a high level overview and a brief description of some of the key software components.
一个会写诗的程序员
2021-12-16
4150
Spark Shuffle 机制解析
当一个父 RDD 分区的数据分散到了多个子 RDD 的分区中时,这时会产生 Shuffle,即宽依赖之间会有 Shuffle。
一个会写诗的程序员
2021-12-16
4810
Spark 入门简介
Spark 是一个通用的并行计算框架,由加州伯克利大学(UC Berkeley)的 AMP 实验室开发于 2009 年,并于 2010 年开源,2013 年成长为 Apache 旗下在大数据领域最活跃的开源项目之一。 目前 Spark 的版本已经更新到了 2.4.5,并且预上线了 3.0 版本,相信未来会有更精彩的地方值得我们期待。
一个会写诗的程序员
2021-12-16
5530
【推荐系统算法实战】 ALS 矩阵分解算法
ALS的矩阵分解算法常应用于推荐系统中,将用户(user)对商品(item)的评分矩阵,分解为用户对商品隐含特征的偏好矩阵,和商品在隐含特征上的映射矩阵。
一个会写诗的程序员
2019-12-30
3K0
【推荐系统算法实战】 基于网页的 Notebook:Zeppelin 交互式数据分析
【推荐系统算法实战】 基于网页的 Notebook:Zeppelin 交互式数据分析
一个会写诗的程序员
2019-12-24
9430
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档