根本停不下来!给它一个轮廓,TensorFlow还你一只完整的喵 (附论文下载)

大数据文摘作品,转载要求见文末

作者:Aileen,姜范波

微信后台(非评论区)回复“画猫”获取相关原文论文。

说起人工智能,最经常被人提起的案例就是可以训练机器分辨图片哪些是猫那些是狗。这两天人工智能圈继续拿毛孩子们搞事情,火了一个叫做edges2cats的玩意儿。一个叫Christopher Hesse的人用大约2000张猫的图片和从这些图片自动产生的边缘线进行训练,做了一个网页版小应用:只要画出一个轮廓,人工智能就能自动根据你给出的轮廓画出喵星人来。作者本人亲自示范如下,是不是可爱炸了!?

这个插件只是一系列项目的一小部分。整个项目开发了一个用TensorFlow的pix2pix接口(https://github.com/phillipi/pix2pix),并建立了一些训练好的模型,搭建了一个互动网页来测试它们。Pix2pix 模型通过用配对图片进行训练,比如建筑物的名称与其外观照配对,然后对任何输入的图片,输出对应的图片。这个想法源自Phillip Isola写作的非常棒的论文。(https://arxiv.org/abs/1611.07004,后台回复“画猫”可下载论文PDF)除了轮廓画猫之外,还有轮廓画包包,轮廓画鞋子,等等。之所以这个插件最出名当然是因为广大技术宅男宅女对毛孩子们的热爱啦,谁不想分分钟画出自己心目中的小猫咪呢?大家纷纷晒出自己的成果(和很醉人的画风),整体效果还是不错的:

之后就有点被玩坏了…

还有这些(喂,让你画猫啊谁让你乱画的)……

作者解释了有些图片看着非常诡异,大概是因为当一个动物看起来不太对劲,尤其是眼睛附近不太对劲时,很容易觉察到。自动产生的边缘线并不是很完美,很多情况下检测不到猫的眼睛,使得图片翻译效果差强人意。

比如下面的Hello Kitty要哭晕了:

看到这里你是不是也跃跃欲试了呢? 请戳https://affinelayer.com/pixsrv/,建议使用Chrome 浏览器。

这里我们也简单介绍一下其他的小插件,有兴趣的话也可以去试试哦。

Facades画建筑物:

用建筑物的外观图片与其对应的标签图进行训练,虽然看起来它似乎对大片的空白无所适从,但是如果有足够多的窗户,则通常可以得到不错的结果。如果想清除一些不想要的东西,在上面画“墙壁”颜色的长方形即可。

edges2shoes画鞋子:

用Zappos收集的大约5万张鞋子图片及基于这些图片自动生成的边缘线图片集训练而成,如果你很擅长画鞋子的边缘线,那么你可以试着做一些新的设计。记住,用于训练的图片是基于真实物体,所以如果你能够画3维立体画,效果会更好。

edges2handbags画包包:

与前面的鞋子相似,用亚马逊收集的含有约13万7千张的包包图片及其对应的边缘线图片进行训练,如果在这里你画一只鞋子,而不是一只包,那么你会得到一个花纹非常怪异的鞋子。

如果你对开发技术有兴趣:

这些模型可以用pix2pix.py进行训练,并从pix2pix-tensorflow(https://github.com/affinelayer/pix2pix-tensorflow)中导出。测试版的交互界面通过Canvas API用javascript写成,通过TensorFlow与后端运行图片的服务器对话。后端服务器既可以本地运行Tensorflow,也可以将请求转发给谷歌搭载TensorFlow的云端服务器Cloud ML(https://cloud.google.com/ml/)。

预训练好的模型可从GitHub获得(https://github.com/affinelayer/pix2pix-tensorflow#datasets-and-trained-models)。所有与原始的pix2pix应用一起发布的内容均可获取。模型可以从预训练好的模型中用pix2pix.py脚本导出,并且导出的模型链接到Github的服务器说明书文本。(https://github.com/affinelayer/pix2pix-tensorflow/tree/master/server)

猫图片的边缘线用Holistically-Nested Edge Detection (https://github.com/s9xie/hed)生成,功能性已经添加到process.py(https://github.com/affinelayer/pix2pix-tensorflow/blob/master/tools/process.py),而相关性添加到了Docker image

https://hub.docker.com/r/affinelayer/pix2pix-tensorflow/)

微信后台(非评论区)回复“画猫”获取相关原文论文。

关于转载如需转载,请在开篇显著位置注明作者和出处(转自:大数据文摘 |bigdatadigest),并在文章结尾放置大数据文摘醒目二维码。无原创标识文章请按照转载要求编辑,可直接转载,转载后请将转载链接发送给我们;有原创标识文章,请发送【文章名称-待授权公众号名称及ID】给我们申请白名单授权。未经许可的转载以及改编者,我们将依法追究其法律责任。联系邮箱:zz@bigdatadigest.cn。

原文发布于微信公众号 - 大数据文摘(BigDataDigest)

原文发表时间:2017-02-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

人工智能黑暗面

当计算科学发展的不够完善,还没能解决启发式问题的时候,很多安全问题都是利用规则来解决的,这些规则都是“死”的。

30910
来自专栏量子位

这个深度学习Model Zoo,真的有点像动物园? | 来自一只新加坡蓝精灵

所以,他想给这些散落各地的模型,造一个整齐的家,人类就更容易找到自己心里的那个模型。

18010
来自专栏专知

简单粗暴TensorFlow学习教程(PDF)

【导读】Xihan Li(雪麒)撰写了一份《简单粗暴TensorFlow》的入门教程,基于TensorFlow的Eager Execution(动态图)模式,力...

1.6K30
来自专栏数据派THU

精选10大机器学习开源项目 !(附链接)

本文推荐的10大机器学习开源项目是由Mybridge从250个机器学习开源项目中挑选出来的,Github平均star为1385,主题包含:Tensorflow,...

16090
来自专栏CDA数据分析师

【零一】#操作教程贴#从0开始,教你如何做数据分析#中阶#第八篇

大家好,我是零一。第一次用手机写文章,哈。在车上的时间看了一本书,余下的时间,我想应该可以写一篇文章。图片等到了地儿了,再用电脑补上。 我的公众微信号是sta...

21550
来自专栏24K纯开源

ffmpeg编解码视频导致噪声增大的一种解决方法

一、前言        ffmpeg在视音频编解码领域算是一个比较成熟的解决方案了。公司的一款视频编辑软件正是基于ffmpeg做了二次封装,并在此基础上进行音视...

28670
来自专栏量子位

“你的深度学习框架包含15个漏洞”,360说 | 附论文

允中 李林 编译整理 量子位 出品 | 公众号 QbitAI ? 注意!你的深度学习框架有漏洞! 这个警告来自360安全实验室(Qixue Xiao、Deyue...

34330
来自专栏DHUtoBUAA

基于电子海图的水面无人艇全局路径规划

  该论文已经在ICMIR2017会议上发表,附上springer的文献地址 Research and Implementation of Global Pat...

31850
来自专栏AI研习社

如何配置一台适用于深度学习的工作站?

问题详情: 如何配置一台适用于深度学习的工作站? 刚买两块 Titan Z GPU 准备搞搞深度学习,结果原来的工作站功率不够,带不动,所以准备组装一台新工作站...

38880
来自专栏新智元

【Science】破解密码“AlphaGo”诞生,训练Gan破解27%LinkedIn测试集密码

【新智元导读】一项新的研究旨在使用生成对抗网络(GAN) 来加快密码破解的速度。斯蒂文斯理工学院的研究人员用类似“AlphaGo”的方法,利用超过 4300 万...

33760

扫码关注云+社区

领取腾讯云代金券