首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >Hadoop环境下盗梦空间图像分类器的再训练

Hadoop环境下盗梦空间图像分类器的再训练
EN

Stack Overflow用户
提问于 2016-11-15 13:24:39
回答 1查看 299关注 0票数 0

最近,我用Win10操作系统在我的电脑上试用了谷歌的“盗梦空间”图像分类器。基本上,我是在这个教程/手册上完成的。

简单地说,这些步骤是:

  1. 安装码头
  2. 安装Tensorflow
  3. 去拿照片
  4. 检索培训代码(retrain.py)
  5. 重新培训盗梦空间(运行retrain.py)
  6. 在图像上使用分类器

我的问题是,我想做同样的事情,但在Hadoop环境中,不幸的是,我不知道该如何做,因为我是Hadoop的新手。我试图谷歌这个话题,但我没有找到任何有帮助的结果。

我的Hadoop集群包含4个带有Hadoop、Hive和Spark的Raspberry Pi。如果我是对的,至少有两种方法可以在Hadoop上完成再培训过程:

  1. 创建Hadoop流以运行phyton代码
  2. 安装pySpark并使用它执行“魔术”

按照第一种选择,我认为这些步骤可能是:

(Python预先安装在NOOB上)

  1. 将图像放入hdfs中
  2. 安装Tensorflow库和工具
  3. 检索培训代码和Tensorflow的完整样本集
  4. 创建Hadoop流以运行再培训过程 $HADOOP_HOME/bin/hadoop jar $hadoop_HOME/hadoop-Streing.jar\ -input myInputDirs \ -output myOutputDir \ -mapper org.apache.hadoop.mapred.lib.IdentityMapper \ -reducer /bin/wc -file (一个执行**的python文件)
  5. 在图像上使用分类器 ** = tensorflow/examples/image_retraining/retrain.py _-瓶颈_dir=/tf_ $python _$python_dir=/tf_$python/$python_files=/tf_files/$python_files=/tf_$python_$python/(MyImages)

第二条路..。我没有头绪

如果有人能给我一些建议,详细的步骤,或者只是告诉我一些方向,我会非常感激的。

EN

回答 1

Stack Overflow用户

发布于 2016-11-16 09:25:50

您需要为HDFS配置您的环境。您还可以使用docker文件:https://github.com/tensorflow/ecosystem/blob/master/docker/Dockerfile.hdfs在docker中运行程序。您可能需要将您的培训计划复制到图像中。

然后,在将数据复制到HDFS之后,只需指定"hdfs://namenode/file/path"作为模型输入。TensorFlow的gfile模块可以识别HDFS URI。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/40610958

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档