Loading [MathJax]/jax/input/TeX/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >Hadoop环境下盗梦空间图像分类器的再训练

Hadoop环境下盗梦空间图像分类器的再训练
EN

Stack Overflow用户
提问于 2016-11-15 05:24:39
回答 1查看 299关注 0票数 0

最近,我用Win10操作系统在我的电脑上试用了谷歌的“盗梦空间”图像分类器。基本上,我是在这个教程/手册上完成的。

简单地说,这些步骤是:

  1. 安装码头
  2. 安装Tensorflow
  3. 去拿照片
  4. 检索培训代码(retrain.py)
  5. 重新培训盗梦空间(运行retrain.py)
  6. 在图像上使用分类器

我的问题是,我想做同样的事情,但在Hadoop环境中,不幸的是,我不知道该如何做,因为我是Hadoop的新手。我试图谷歌这个话题,但我没有找到任何有帮助的结果。

我的Hadoop集群包含4个带有Hadoop、Hive和Spark的Raspberry Pi。如果我是对的,至少有两种方法可以在Hadoop上完成再培训过程:

  1. 创建Hadoop流以运行phyton代码
  2. 安装pySpark并使用它执行“魔术”

按照第一种选择,我认为这些步骤可能是:

(Python预先安装在NOOB上)

  1. 将图像放入hdfs中
  2. 安装Tensorflow库和工具
  3. 检索培训代码和Tensorflow的完整样本集
  4. 创建Hadoop流以运行再培训过程 $HADOOP_HOME/bin/hadoop jar $hadoop_HOME/hadoop-Streing.jar\ -input myInputDirs \ -output myOutputDir \ -mapper org.apache.hadoop.mapred.lib.IdentityMapper \ -reducer /bin/wc -file (一个执行**的python文件)
  5. 在图像上使用分类器 ** = tensorflow/examples/image_retraining/retrain.py _-瓶颈_dir=/tf_ $python _$python_dir=/tf_$python/$python_files=/tf_files/$python_files=/tf_$python_$python/(MyImages)

第二条路..。我没有头绪

如果有人能给我一些建议,详细的步骤,或者只是告诉我一些方向,我会非常感激的。

EN

回答 1

Stack Overflow用户

发布于 2016-11-16 01:25:50

您需要为HDFS配置您的环境。您还可以使用docker文件:https://github.com/tensorflow/ecosystem/blob/master/docker/Dockerfile.hdfs在docker中运行程序。您可能需要将您的培训计划复制到图像中。

然后,在将数据复制到HDFS之后,只需指定"hdfs://namenode/file/path"作为模型输入。TensorFlow的gfile模块可以识别HDFS URI。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/40610958

复制
相关文章
盗梦空间之VLAN in VLAN
只要做过软件开发,想必一定听说过“吃狗食”这样的说法,说的就是软件开发者应该使用自己开发的软件,这样便于理解你的系统,从而发现问题并解决问题。
焱融科技
2020/07/17
1.3K0
盗梦空间之VLAN in VLAN
从Power BI“最近使用的源”到盗梦空间的“植梦”
回忆一下,第一次用Power BI时,你在获取数据时一定是点击“主页-新建源”,然后选择自己的数据源。如果数据源是数据库,那么需要填写服务器和数据库名:
陈学谦
2020/05/07
6030
如何用PyTorch训练图像分类器
如果你刚刚开始使用PyTorch并想学习如何进行基本的图像分类,那么你可以参考本教程。它将介绍如何组织训练数据,使用预训练神经网络训练模型,然后预测其他图像。
AI研习社
2018/12/18
1.5K0
如何用PyTorch训练图像分类器
元宇宙开了个「盗梦空间」实体店!
座落于文三数字生活街区核心商业地段,旗舰店集品牌展示、产品体验、互动交流等功能于一体,将展示Rokid最新系列AR产品,为消费者提供沉浸式场景化的产品体验空间。
新智元
2023/01/09
3910
元宇宙开了个「盗梦空间」实体店!
机器学习-使用TensorFlow for Poets训练图像分类器
今天我们学习如何训练图像分类器,只需通过图像目录即可完成。比如说,你想要构建一个分类器来区分霸龙和三角龙的图片:
XXXX-user
2019/09/05
1.2K0
机器学习-使用TensorFlow for Poets训练图像分类器
现实版“盗梦空间”雏形:MIT研究出“梦境控制系统”
大数据文摘作品 编译:蒋宝尚 盗梦空间中的造梦场景或许不再只是科幻电影的内容了。麻省理工学院硕士生Adam Horowitz领导的一个研究小组刚刚发布了一个“梦境控制系统”。 通常,在我们进入深度睡眠的过程中,总有几分钟处在半睡半醒,迷迷糊糊的状态。 这种半睡半醒的状态我们称之为临睡幻觉。 我们可能会在这个过程中体验到微梦,但这些微梦的内容似乎是随机的,当我们醒来时,我们通常对它们没有任何记忆。 这是在清醒的现实和的睡梦的朦胧之间的一条界线,我们每个晚上都会在界里界外穿越,但我们很少思考那个梦幻世界的奇妙之
大数据文摘
2018/05/23
6170
干货——图像分类(下)
在机器学习或者深度学习领域,参数和超参数是一个常见的问题,个人根据经验给出了一个很狭隘的区分这两种参数的方法。
计算机视觉研究院
2018/09/21
3670
干货——图像分类(下)
国产 AI 作画神器来了!日增 5 万用户的背后有什么秘诀?
大数据文摘转载AI科技评论 作者 | 王玥、施方圆 编辑 | 陈彩娴 就在最近,生成式 AI 又火了,这次是国内的平台! 9月,一个叫做「盗梦师」的微信小程序悄悄上线,却一鸣惊人,达成日增5万新用户的纪录,足以见得国内玩家对亲手玩到 AI 绘画渴待已久。 不怪玩家们太热情,从Midjourney 到 Stable Diffusion,AI「以文生图」一直是好几个月来最炙手可热的话题。「以文生图」AI 打通了文字和图像的隔阂,只要输入一段文字描述,AI 就可以把用户脑海中想象的画面呈现出来。用户输入的文字越大
大数据文摘
2022/10/11
1.3K0
国产 AI 作画神器来了!日增 5 万用户的背后有什么秘诀?
使用TensorFlow训练图像分类模型的指南
众所周知,人类在很小的时候就学会了识别和标记自己所看到的事物。如今,随着机器学习和深度学习算法的不断迭代,计算机已经能够以非常高的精度,对捕获到的图像进行大规模的分类了。目前,此类先进算法的应用场景已经涵括到了包括:解读肺部扫描影像是否健康,通过移动设备进行面部识别,以及为零售商区分不同的消费对象类型等领域。
一点人工一点智能
2023/01/15
1.2K0
使用TensorFlow训练图像分类模型的指南
国产 AI 作画神器来了!日增 5 万用户的背后有什么秘诀?
以文生图,漫画日更几十页不是梦! 作者 | 王玥、施方圆 编辑 | 陈彩娴 就在最近,生成式 AI 又火了,这次是国内的平台! 9月,一个叫做「盗梦师」的微信小程序悄悄上线,却一鸣惊人,达成日增5万新用户的纪录,足以见得国内玩家对亲手玩到 AI 绘画渴待已久。 不怪玩家们太热情,从Midjourney 到 Stable Diffusion,AI「以文生图」一直是好几个月来最炙手可热的话题。「以文生图」AI 打通了文字和图像的隔阂,只要输入一段文字描述,AI 就可以把用户脑海中想象的画面呈现出来。用户输入的文
AI科技评论
2022/10/10
1.5K0
国产 AI 作画神器来了!日增 5 万用户的背后有什么秘诀?
Ubuntu下配置Hadoop环境
Ubuntu下配置Hadoop环境,实现真正的分布式的Hadoop,并不是伪分布式的。
星哥玩云
2022/07/04
4960
如何构建用于垃圾分类的图像分类器
当垃圾处理不当时,就会发生回收污染 - 比如回收带有油的披萨盒。或者当垃圾被正确处理但准备不当时 - 如回收未经冲洗的果酱罐。
代码医生工作室
2019/06/21
3.3K0
如何构建用于垃圾分类的图像分类器
数据科学家应该知道的10个深度学习的高级架构!
随着深度学习不断地产生新进展,要跟上时代的脚步变得异常困难。几乎每天都有创新,或是产生一种新的深度学习的应用。 这篇文章包含了最近深度学习的一些进展。为了保持文章内容的简洁,本文只列出在计算机视觉领域
AiTechYun
2018/03/02
1K0
数据科学家应该知道的10个深度学习的高级架构!
复刻盗梦空间!40岁男子在家自操,钻脑植芯片,以控制梦境
「盗梦空间」剧情中,上演了造梦师Dom Cobb带领着特工团队,成功进入他人梦境,从其潜意识中盗取机密,并重塑梦境的一幕。
新智元
2023/09/09
1760
复刻盗梦空间!40岁男子在家自操,钻脑植芯片,以控制梦境
eclipse工具下hadoop环境搭建
eclipse工具下hadoop环境搭建:     window10操作系统中搭建eclipse64开发系统,配置hadoop的eclipse插件,让eclipse可以查看Hdfs中的文件内容。   
别先生
2018/04/17
9560
eclipse工具下hadoop环境搭建
GPT-4被骗进「盗梦空间」!IBM发现ChatGPT极易受骗,微软发起红队攻击
都对现实世界有着巨大的影响力,既可以用来帮助人类也会因为恶意的使用造成毁灭性的灾难。
新智元
2023/09/09
3660
GPT-4被骗进「盗梦空间」!IBM发现ChatGPT极易受骗,微软发起红队攻击
解决Windows环境下hadoop集群的运行
需要3个步骤: 1.设置hadoop在windows上的环境(这里我安装的是hadoop-2.7.1)
Maynor
2021/04/09
5560
黑客能入侵你的梦境了!MIT梦境实验室开发出现实版“盗梦空间”
在人的一生中,睡眠占据了三分之一。我们会做梦,虽然我们还没有完全搞清楚这是为什么。尽管这些夜晚的图像和故事情节的混合已经吸引了几代人的想象力,但现代科学基本上认为,梦对日常生活没有影响。
新智元
2020/04/17
6980
真·盗梦空间!MIT开发app直接与梦中大脑沟通,还能操纵梦境内容
梦境研究以激动人心的方式步入了现代,来自麻省理工学院(MIT)和其他机构的研究人员创建了一个社区,致力于推进这一领域、为这项研究正名并开拓进一步研究的机遇。
大数据文摘
2020/08/11
5590
人脸识别(二)——训练分类器
上一篇简单整理了下人脸识别的相关基础知识,这一篇将着重介绍利用pencv(2.4.9)已有的模型进行分类器训练。 一、关于ORL人脸数据库 ORL是一个40个人,每人采取10张人脸头像构成的一个人脸
小小詹同学
2018/04/13
2.4K0
人脸识别(二)——训练分类器

相似问题

盗梦空间再训练中的错误

26

利用tiff图像重新训练盗梦空间

32

基于迁移学习的深度梦负荷再训练盗梦模型

13

Keras:精度下降,而裁剪盗梦空间

20

我的形象应该是多大来重新训练盗梦空间?

23
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文