腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

编程

写写文章，造造轮子，推荐几篇文章的专栏~

专栏作者

772

文章

1116036

阅读量

114

订阅数

大数据干货系列（六）-Spark总结

spark mapreduce

本文共计1611字，预计阅读时长八分钟 Spark总结一、本质 Spark是一个分布式的计算框架，是下一代的MapReduce，扩展了MR的数据处理流程二、mapreduce有什么问题 1.调度慢，启动map、reduce太耗时 2.计算慢，每一步都要保存中间结果落磁盘 3.API抽象简单，只有map和reduce两个原语 4.缺乏作业流描述，一项任务需要多轮mr 三、spark解决了什么问题 1.最大化利用内存cache 2.中间结果放内存，加速迭代 3.将结果集放内存，加速后续查询和处理，解决运行慢

企鹅号小编

2018-01-29

7130

如何正确并快速理解MapReduce

什么是MapReduce？Map本意可以理解为地图，映射（面向对象语言都有Map集合），这里我们可以理解为从现实世界获得或产生映射。Reduce本意是减少的意思，这里我们可以理解为归并前面Map产生的映射。 MapReduce的编程模型按照google的MapReduce论文所说的，MapReduce的编程模型的原理是：利用一个输入key/value对集合来产生一个输出的key/value对集合。MapReduce库的用户用两个函数表达这个计算：Map和Reduce。用户自定义的Map函数接受一个输入的k

企鹅号小编

2018-01-24

6080

Python之路-day6

所谓高阶函数，简单点说就是将一个函数作为另一个函数的传入参数，这样我们就称这个组合函数为高阶函数。举个例子： map()函数能接收两个参数，一个为函数，一个为Interable。函数f(x)=x*3，运用此函数将列表[1,2,3,4,5,6]中的元素扩大3倍。 #高阶函数 deff(x): returnx*3 y =map(f,[1,2,3,4,5,6]) print(list(y)) 输出是： [3, 6, 9, 12, 15, 18] 如果不使用“list()”，会怎样呢？ #高阶函数 deff(x

企鹅号小编

2018-01-24

6420

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态