腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

包子铺里聊IT

https://baozitraining.org/ 北美最优秀的程序员模拟面试 - 包子IT面试培训

专栏作者

123

文章

107429

阅读量

37

订阅数

五分钟零基础介绍 Spark

hadoop spark 数据处理机器学习神经网络

相信大家都听说过火的不能再火、炒得不能再炒的新一代大数据处理框架 Spark. 那么 Spark 是何方神圣？为何大有取代 Hadoop 的势头？Spark 内部又是如何工作的呢？我们会用几篇文章为大家一一介绍。 Hadoop：我不想知道我是怎么来的，我就想知道我是怎么没的？还是从 Hadoop 处理海量数据的架构说起，一个 Hadoop job 通常都是这样的：从 HDFS 读取输入数据；在 Map 阶段使用用户定义的 mapper function, 然后把结果写入磁盘；在 Reduce 阶段，

包子面试培训

2018-04-20

5980

【最火大数据 Framework】五分钟深入 Spark 运行机制

大数据 spark

上篇文章，我们简要介绍了 MapReduce 框架的局限和 Spark 横空出世的土壤。今天，我们就来详细介绍 Spark 的内部原理和它强大功能的背后设计。前文回顾 Hadoop 的局限并非只有 IO 速度的问题，更重要的是 MapReduce 规定死了 map / reduce 两种运算，并且提供之间 shuffle 的数据搬运工作。无论运算怎样灵活多样，你都要走 map -> shuffle -> reduce 这条路，要进行灵活运算并保证优秀性能确实有点吃力。Spark 这边，AMPLab 为此

包子面试培训

2018-04-19

5950

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态