专栏首页小鹏的专栏Face Recognition(face_recognition) Using Hadoop Streaming API如何使用Python为Hadoop编写一个简单的MapReduce程序,请参考

Face Recognition(face_recognition) Using Hadoop Streaming API如何使用Python为Hadoop编写一个简单的MapReduce程序,请参考

如何使用Python为Hadoop编写一个简单的MapReduce程序,请参考: Here.

Face Recognition(face_recognition) Using Hadoop Streaming API: 代码.

cd /home/liupeng/hadoop/Face_Detection_Using_Hadoop_Streaming_API/
rm -f deploy/Imageprocessing.zip
zip -q -r deploy/Imageprocessing.zip Imageprocessing/

python DataPreProcessing.py /home/liupeng/hadoop/Face_Detection_Using_Hadoop_Streaming_API/images/ SerializedImages.txt

cp SerializedImages.txt /tmp/liupeng/

cd ~

# 脚本权限
chmod +x /home/liupeng/hadoop/Face_Detection_Using_Hadoop_Streaming_API/*

cd /usr/local/hadoop
 
# 在我们运行MapReduce job 前,我们需要将本地的文件复制到HDFS中
# /tmp/liupeng/SerializedImages.txt
liupeng@1:/usr/local/hadoop$ bin/hadoop dfs -copyFromLocal /tmp/liupeng liupeng 

# 执行 MapReduce job

# face recognition
liupeng@1:/usr/local/hadoop$ bin/hadoop jar share/hadoop/tools/lib/hadoop-streaming-2.8.1.jar 
    -file /home/liupeng/hadoop/Face_Detection_Using_Hadoop_Streaming_API/FaceRecognitionRun.py 
    -file /home/liupeng/hadoop/Face_Detection_Using_Hadoop_Streaming_API/deploy/Imageprocessing.zip 
    -file /home/liupeng/hadoop/Face_Detection_Using_Hadoop_Streaming_API/Classifier/haarcascade_frontalface_default.xml 
    -file /home/liupeng/hadoop/Face_Detection_Using_Hadoop_Streaming_API/deploy/lp.jpg 
    -mapper /home/liupeng/hadoop/Face_Detection_Using_Hadoop_Streaming_API/FaceRecognitionRun.py 
    -input liupeng/* -output liupeng-output

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Face Detection(OpenCV) Using Hadoop Streaming API 如何使用Python为Hadoop编写一个简单的MapReduce程序,请参考: Here.

    如何使用Python为Hadoop编写一个简单的MapReduce程序,请参考: Here. Face Detection(OpenCV) Using Hado...

    MachineLP
  • 如何使用Python为Hadoop编写一个简单的MapReduce程序

    How to Install Hadoop in Stand-Alone Mode on Ubuntu 16.04 如何使用Python 为 Hadoop编写...

    MachineLP
  • python多线程,获取多线程的返回值

    代码如下: # coding=utf-8 import threading from time import ctime, sleep # 多线程如何返回值...

    MachineLP
  • Face Detection(OpenCV) Using Hadoop Streaming API 如何使用Python为Hadoop编写一个简单的MapReduce程序,请参考: Here.

    如何使用Python为Hadoop编写一个简单的MapReduce程序,请参考: Here. Face Detection(OpenCV) Using Hado...

    MachineLP
  • Hadoop3单机和伪分布式模式安装配置

    为了体验HDFS和MapReduce框架,以及在HDFS上运行示例程序或简单作业,我们首先需要完成单机上的Hadoop安装。所依赖的软件环境如下:

    职场亮哥
  • BigData--Hadoop技术

    (7)-chgrp 、-chmod、-chown:Linux文件系统中的用法一样,修改文件所属权限

    MiChong
  • Spark完全分布式集群搭建

    比如分别把这两个文件重命名为start-spark-all.sh和stop-spark-all.sh 原因: 如果集群中也配置HADOOP_HOME,那么在...

    CoderJed
  • CDH(Cloudera)与hadoop(apache)对比

    问题导读: 1.hadoop有几个版本? 2.CDH有几种安装方式? 3.CDH在安装认证方面做了什么改变? Cloudera的CDH和Apache的H...

    用户1410343
  • 腾讯云优惠券之2860元代金券领取及使用规则详细介绍

    普会上云腾讯云推出8张总面值为2860元的代金券,该代金券的领取及使用都是有条件的,上云小秘书分享腾讯云优惠券的领取地址、使用方法及限制说明:

    上云小秘书
  • 如何在Debian 9上以独立模式安装Hadoop

    Hadoop是一个基于Java的编程框架,支持在廉价机器集群上处理和存储极大数据集。它是大数据竞争领域的第一个主要开源项目,由Apache Software F...

    彼岸轮回

扫码关注云+社区

领取腾讯云代金券