腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Golang开发

专栏作者

289

文章

265827

阅读量

38

订阅数

RDD操作—— 行动(Action)操作

spark mapreduce 缓存编程算法

行动操作是真正触发计算的地方。Spark程序执行到行动操作时，才会执行真正的计算，从文件中加载数据，完成一次又一次转换操作，最终，完成行动操作得到结果。

2019-08-20

1.4K0

Scala基础——容器操作

编程算法 mapreduce

遍历foreach list 遍历 var l = List(1,2,3,4,5) l.foreach(i=>println(i)) map 遍历 var m = Map("tony" -> 80, "bob" -> 90) m.foreach(kv => println(kv._1, kv._2)) 映射map val l = List("hive","hadoop","spark") val books= l.map(s=>s.toUpperCase) for(x

2019-08-14

3350

hadoop mapreduce yarn node.js 存储

官方地址：http://hadoop.apache.org/ The Apache Hadoop project develops open-source software for reliable, scalable, distributed computing.(可靠的，可拓展的分布式系统) 狭义Hadoop:是一个适合大数据分布式存储(HDFS),分布式计算(MapReduce)和资源调度(YARN)的平台。广义的Hadoop:指的Hadoop的生态系统,Hadoop只是其中最重要的，最基础的一部分。生态圈的中的每个子系统只负责解决某一个特点的问题。

2019-08-06

3930

Hadoop——MapReduce分布式计算框架

大数据 mapreduce

源自2014年12月的Google发表的MapReduce论文，它是一个编程模型，用于大数据量的计算，MapReduce是分布式计算框架。具有海量数据离线处理。对于大数据量的计算，通常采用的处理方式就是并行计算，MapReduce就是一种简化并行计算的编程模型，它使得并没有并行计算经验的开发人员也可以计算并行应用程序

2019-08-05

7330

Hadoop(1)——理论简介

hadoop http mapreduce 大数据 yarn

官方地址：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html

2019-05-29

4270

Python基础(8)——内建函数

mapreduce python

Build-in Function,启动python解释器，输入dir(builtins), 可以看到很多python解释器启动后默认加载的属性和函数，这些函数称之为内建函数，这些函数因为在编程时使用较多，cpython解释器用c语言实现了这些函数，启动解释器时默认加载。由于内建函数数量众多，可以通过help(function)查看函数的使用方法。

2019-05-28

2550

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态