腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

从零开始的linux

专栏作者

103

文章

132040

阅读量

39

订阅数

用python解释mapreduce

python mapreduce hadoop

map import sys #输入为标准输出stdin for line in sys.stdin: #删除开头和结尾的空行 line = line.strip() #以默认空格分隔单词到words列表 words = line.split() for word in words: #输出所有单词，格式为“单词，1”以便为reduce的输入 print '%s %s' % (word,1) reduce import sys cur

2018-04-25

6760

hdfs基本概念

大数据 node.js 存储 hadoop

HDFS是Hadoop Distribute File System 的简称，也就是Hadoop的一个分布式文件系统。一、HDFS的主要设计理念 1、存储超大文件这里的“超大文件”是指几百MB、GB甚至TB级别的文件。 2、最高效的访问模式是一次写入、多次读取(流式数据访问) HDFS存储的数据集作为hadoop的分析对象。在数据集生成后，长时间在此数据集上进行各种分析。每次分析都将设计该数据集的大部分数据甚至全部数据，因此读取整个数据集的时间延迟比读取第一条记录的时间延迟更重要。 3、运行在

2018-04-25

7950

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态