Face Recognition(face_recognition) Using Hadoop Streaming API如何使用Python为Hadoop编写一个简单的MapReduce程序,请参考

如何使用Python为Hadoop编写一个简单的MapReduce程序,请参考: Here.

Face Recognition(face_recognition) Using Hadoop Streaming API: 代码.

cd /home/liupeng/hadoop/Face_Detection_Using_Hadoop_Streaming_API/
rm -f deploy/Imageprocessing.zip
zip -q -r deploy/Imageprocessing.zip Imageprocessing/

python DataPreProcessing.py /home/liupeng/hadoop/Face_Detection_Using_Hadoop_Streaming_API/images/ SerializedImages.txt

cp SerializedImages.txt /tmp/liupeng/

cd ~

# 脚本权限
chmod +x /home/liupeng/hadoop/Face_Detection_Using_Hadoop_Streaming_API/*

cd /usr/local/hadoop
 
# 在我们运行MapReduce job 前,我们需要将本地的文件复制到HDFS中
# /tmp/liupeng/SerializedImages.txt
liupeng@1:/usr/local/hadoop$ bin/hadoop dfs -copyFromLocal /tmp/liupeng liupeng 

# 执行 MapReduce job

# face recognition
liupeng@1:/usr/local/hadoop$ bin/hadoop jar share/hadoop/tools/lib/hadoop-streaming-2.8.1.jar 
    -file /home/liupeng/hadoop/Face_Detection_Using_Hadoop_Streaming_API/FaceRecognitionRun.py 
    -file /home/liupeng/hadoop/Face_Detection_Using_Hadoop_Streaming_API/deploy/Imageprocessing.zip 
    -file /home/liupeng/hadoop/Face_Detection_Using_Hadoop_Streaming_API/Classifier/haarcascade_frontalface_default.xml 
    -file /home/liupeng/hadoop/Face_Detection_Using_Hadoop_Streaming_API/deploy/lp.jpg 
    -mapper /home/liupeng/hadoop/Face_Detection_Using_Hadoop_Streaming_API/FaceRecognitionRun.py 
    -input liupeng/* -output liupeng-output

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏和蔼的张星的图像处理专栏

8.SSD目标检测之二:制作自己的训练集

最近秋色甚好,一场大风刮散了雾霾,难得几天的好天气,周末回家在大巴上看着高速两旁夕阳照射下黄澄澄的树叶,晕车好像也好了很多。 特地周六赶回来为了周末去拍点素材...

1574
来自专栏進无尽的文章

多媒体-图片、音频、视频压缩

很多时候我们需要把一些图片、音频、视频上传到服务器,于是就有了文件压缩这个问题了,这篇文章就小结一下具体的文件压缩实现吧。

2611
来自专栏CreateAMind

End-to-end Driving via Conditional Imitation Learning

Felipe Codevilla, Matthias Müller, Alexey Dosovitskiy, Antonio López, Vladlen Ko...

981
来自专栏蜕变

#哆啦A梦

write('by dongdong', font=("Bradley Hand ITC", 30, "bold"))

1040
来自专栏ACM小冰成长之路

51Nod-1868-彩色树

ACM模版 描述 ? 题解 树型DP,先上官方题解: ? 官方题解说的十分清楚,和我的代码思路也恰好吻合,大体上是针对每种颜色求出不包括该种颜色的路径的点对儿数...

2327
来自专栏瓜大三哥

优化策略之Opt_design

opt_design [-retarget] [-propconst] [-sweep] [-bram_power_opt] [-remap]

2816
来自专栏图形学与OpenGL

3.6.2 编程实例-河南地图绘制

#include <iostream> #include <fstream> #include<vector> #include <GL/glut.h> usi...

1141
来自专栏落影的专栏

OpenGL ES实践教程(二)摄像头采集数据和渲染

教程 这一篇教程是摄像头采集数据和渲染,包括了三部分内容,渲染部分-OpenGL ES,摄像头采集图像部分-AVFoundation和图像数据创建纹理部分-G...

4255
来自专栏Python数据科学

快速入门Matplotlib教程

Matplotlib 可能是 Python 2D-绘图领域使用最广泛的套件。它能让使用者很轻松地将数据图形化,并且提供多样化的输出格式。这里将会探索 matpl...

1141
来自专栏HansBug's Lab

算法模板——单个值欧拉函数

输入N,输出phi(N) 这样的单个值欧拉函数程序一般见于部分数论题,以及有时候求逆元且取模的数不是质数的情况(逆元:A/B=A*Bphi(p)-1 (mod ...

3545

扫码关注云+社区

领取腾讯云代金券