专栏首页从零开始的linux用python解释mapreduce

用python解释mapreduce

map
import sys

#输入为标准输出stdin
for line in sys.stdin:
    #删除开头和结尾的空行
    line = line.strip()
    #以默认空格分隔单词到words列表
    words = line.split()
    for word in words:
        #输出所有单词,格式为“单词,1”以便为reduce的输入
        print '%s %s' % (word,1)
reduce
import sys
current_word = None
current_count = 0
word = None

#获取标准输入,即map.py的标准输出
for line in sys.stdin:
    #删除开头和结尾的空行
    line = line.strip()

    #解析map.py输出作为程序的输入,以tab作为分隔符
    word,count = line.split( )
    #转换count从字符型到整型
    try:
        count = int(count)
    except ValueError:
        #count非数字时,忽略此行
        continue

    #要求map.py的输出做排序(sort)操作,以便对连续的word做判断
    if current_word == word:
        current_count += count
    else :
        #出现了一个新词
        if current_word :
            print '%s\t%s' % (current_word,current_count)
        current_count = count
        current_word = word
if current_word == word:
    print '%s\t%s' % (current_word,current_count)

文本

foo foo puu labs foo puu abc bar see you by test test
abc labs foo me python hadoop ab ac ab bc bc python

运行

[root@alex ~]# cat ce.txt | python map.py | sort | python reduce.py 
ab     2
abc    2
ac     1
bar    1
bc     2
by     1
foo    4
hadoop   1
labs   2
me     1
puu    2
python  2
see    1
test   2
you    1

本文分享自微信公众号 - 从零开始的linux(gh_4a9d788f5f27)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-02-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Python扩展库安装工具pip的高级用法

    之前发过一篇使用pip安装扩展库和Python程序打包的基础文章,请参考Python安装扩展库与打包成exe可执行文件的方法 除了前文中介绍的用法,pip工具还...

    Python小屋屋主
  • 奇怪,有的Python函数或方法调用需要两对括号?

    本文源自于一位读者的问题:为啥有的函数或方法调用要使用两对括号呢? 但是在我的印象里并没有这种用法啊。于是我简单扫了一眼代码,发现这位朋友说的并不是函数调用需要...

    Python小屋屋主
  • 几行代码理解Python变量访问的LEGB顺序

    Python变量访问时有个LEGB原则,也就是说,变量访问时搜索顺序为Local ==> Enclosing ==> Global ==> Builtin,听起...

    Python小屋屋主
  • Python使用系统聚类方法进行数据分类案例一则

    首先解释一下为啥最近发的文章中代码都是截图而不是文本,这样做主要是希望大家能对着代码敲一遍而不是直接复制运行得到结果就算了,这样可以加深印象,学到更多东西。当然...

    Python小屋屋主
  • Python实现定时自动关闭的tkinter窗口

    功能简要说明:程序运行后10秒钟自动关闭。 技术要点:tkinter应用程序的destroy()方法,多线程编程。 代码截图: ? 运行效果: ?

    Python小屋屋主
  • 使用Python+tkinter编写电脑桌面放大镜程序

    代码思路:首先全屏截图,然后在鼠标当前位置以小窗口进行二次截图,放大后再显示到鼠标左上角。 主要技术:全屏截图,指定区域截图,绑定鼠标事件,绘制图像。 ? 建议...

    Python小屋屋主
  • Python导入标准库和扩展库对象的几种方式

    Python中的对象大概可以分为三类:内置对象、标准库对象和扩展库对象。其中内置对象是直接编译进解释器的可以直接使用,没有对应的Python源代码;标准库对象是...

    Python小屋屋主
  • 计算Fibonacci数列第n项的第8种方法(数学推导与Python实现)

    感谢山东工商学院学院厉玉蓉老师提供的完美数学推导,我在重写和整理时略加修改,比如变量替换时她喜欢用字母z,而我喜欢用x,哈哈。当然,还有另外几个小地方^_^ 本...

    Python小屋屋主
  • 使用Python完美管理和调度你的多个任务

    本文要点:扩展库schedule的用法。 安装方法:pip install schedule 演示代码: ? 运行效果: ?

    Python小屋屋主
  • Python运算符+与+=的那些事

    这两个运算符很多语言都提供了,好像也没啥好说的,不就是像下面这样子用嘛。 >>> x = 3 >>> y = x+6 >>> y 9 >>> x += 6 >>...

    Python小屋屋主

扫码关注云+社区

领取腾讯云代金券