专栏首页python3在Hadoop上运行Python脚本

在Hadoop上运行Python脚本

之前已经配置好了Hadoop以及Yarn,可那只是第一步。下面还要在上面运行各种程序,这才是最重要的。

Ubuntu安装时默认已经安装了Python, 可以通过Python –version 查询其版本。

因此我们可以直接运行python的脚本了。

Python MapReduce Code

这里我们要用到 Hadoop Streaming API, 通过STIDN(Standard input)和 STDOUT(Standard output)来向Map代码、Reduce代码传递数据。 Python有sys.stdin可以直接读取数据,sys.stdout来输出数据。

1 . 首先建立mapper.py.

用VIM建立mapper.py, 将文件存在/home/hadoop路径下, 代码如下:

#!/usr/bin/env python

import sys

# input comes from STDIN (standard input)
for line in sys.stdin:
    # remove leading and trailing whitespace
    line = line.strip()
    # split the line into words
    words = line.split()
    # increase counters
    for word in words:
        # write the results to STDOUT (standard output);
        # what we output here will be the input for the
        # Reduce step, i.e. the input for reducer.py
        #
        # tab-delimited; the trivial word count is 1
        print '%s\t%s' % (word, 1)

注意,保存时存为unix编码的,可以参考另一篇文章: 编码问题

文件保存后,请注意将其权限作出相应修改:

chmod a+x /home/hadoop/mapper.py

2 . 建立reduce.py 用VIM建立reduce.py, 将文件存在/home/hadoop路径下, 代码如下:

#!/usr/bin/env python

from operator import itemgetter
import sys

current_word = None
current_count = 0
word = None

# input comes from STDIN
for line in sys.stdin:
    # remove leading and trailing whitespace
    line = line.strip()

    # parse the input we got from mapper.py
    word, count = line.split('\t', 1)

    # convert count (currently a string) to int
    try:
        count = int(count)
    except ValueError:
        # count was not a number, so silently
        # ignore/discard this line
        continue

    # this IF-switch only works because Hadoop sorts map output
    # by key (here: word) before it is passed to the reducer
    if current_word == word:
        current_count += count
    else:
        if current_word:
            # write result to STDOUT
            print '%s\t%s' % (current_word, current_count)
        current_count = count
        current_word = word

# do not forget to output the last word if needed!
if current_word == word:
    print '%s\t%s' % (current_word, current_count)

文件保存后,请注意将其权限作出相应修改:

chmod a+x /home/hadoop/reduce.py

首先可以在本机上测试以上代码,这样如果有问题可以及时发现:

~$ echo "foo foo quux labs foo bar quux" | /home/hduser/mapper.py

运行结果如下:

再运行以下包含reducer.py的代码:

~$ echo "foo foo quux labs foo bar quux" | /home/hduser/mapper.py | sort -k1,1 | /home/hduser/reducer.py

结果如下:

在Hadoop上运行Python代码

准备工作: 下载文本文件:

~$ mkdir tmp/guteberg
cd tmp/guteberg
 wget http://www.gutenberg.org/files/5000/5000-8.txt
 wget http://www.gutenberg.org/cache/epub/20417/pg20417.txt

然后把这二本书上传到hdfs文件系统上:

$ hdfs dfs -mkdir /user/input # 在hdfs上的该用户目录下创建一个输入文件的文件夹
$ hdfs dfs -put /home/hadoop/tmp/gutenberg/*.txt /user/input # 上传文档到hdfs上的输入文件夹中

寻找你的streaming的jar文件存放地址,注意2.6的版本放到share目录下了,可以进入hadoop安装目录寻找该文件:

$ cd $HADOOP_HOME
$ find ./ -name "*streaming*.jar"

然后就会找到我们的share文件夹中的hadoop-straming*.jar文件:

由于这个文件的路径比较长,因此我们可以将它写入到环境变量:

vi ~/.bashrc  # 打开环境变量配置文件
# 在里面写入streaming路径
export STREAM=$HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-*.jar

由于通过streaming接口运行的脚本太长了,因此直接建立一个shell名称为run.sh来运行:

hadoop jar $STREAM  \
-files /home/hadoop/mapper.py, /home/hadoop/reducer.py \
-mapper  /home/hadoop/mapper.py \
-reducer  /home/hadoop/reducer.py \
-input /user/input/*.txt \
 -output /user/output

然后”source run.sh”来执行mapreduce。结果就响当当的出来啦。

用cat来看一下输出结果如下:


参考 : http://www.cnblogs.com/wing1995/p/hadoop.html?https://hadoop.apache.org/docs/r1.2.1/streaming.html http://hustlijian.github.io/tutorial/2015/06/19/Hadoop%E5%85%A5%E9%97%A8%E4%BD%BF%E7%94%A8.html http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Streaming执行Python版Wo

    hadoop jar /home/hadoop/hadoop-2.6.0-cdh5.5.2/share/hadoop/tools/lib/hadoop-stre...

    py3study
  • Python 练习——计算1-2+3-4

    其实,计算正负相间的式子也很简单,只需要加上一个标记正负号的变量乘到计数器上即可。

    py3study
  • python while语句

    py3study
  • 加密货币常见加密算法

    这是「区块链技术指北」的第 20 篇文章。 如果对我感兴趣,想和我交流,我的微信号:Wentasy,加我时简单介绍下自己,并注明来自「区块链技术指北」。同时我会...

    robinwen
  • 策略模式浅析

    比如出行,可以采用公共汽车出行,可以打的出行,可以自驾出行,也可以骑自行车出行等等。我们可以根据天气、距离、时间紧迫等因素决定采用哪一种方式出行。

    孟君
  • SpringBoot技术栈搭建个人博客【项目准备】

    我没有三颗心脏
  • 极客周刊丨黑客1元购800万金饰,滴滴夜间限同性乘客,5G第一版出炉...

    一川水巷
  • SpringBoot技术栈搭建个人博客【项目准备】

    总体目标:设计一套自适应/简洁/美观/易于文章管理发布的一个属于我个人的博客,最后一页能展示我个人的简历,因为大三快结束了马上就该去找工作了...哦忘了,最重要...

    我没有三颗心脏
  • 解锁机器学习的十种方法

    不论是在科研中还是在工业领域,机器学习都是个热门话题,新的机器学习方法也层出不穷。机器学习发展迅速又很复杂。对初学者而言,紧跟其发展无疑十分困难,即便是对专家们...

    商业新知
  • 20个为前端开发者准备的文档和指南7

    1. DevTools Challenger 它是一个交互式的站点,演示了如何在Firefox开发者版本里使用其拥有的新的相关动画功能。 ? 2. The HT...

    前朝楚水

扫码关注云+社区

领取腾讯云代金券