Pix2Pix与人工智能做设计

设计是一个创造的过程,目前大部分的设计类产品大多是基于模版的,外加一些图像匹配的处理,做出来的设计,缺少创造的成分,更多的是预设的结果。 基于深度学习算法,是否可能满足设计创造性的要求?像图像分类可以很方便的通过 CNN 来实现,通过 apple 开源的 turicreate 库来实现更加简便。而图像与图像之间的转换(称为图像翻译),目前较好的通用方法是 pix2pix ,基于 GAN 的算法。GAN 带来了生成设计的可能性。最近我也终于抽到点空跑了下 pix2pix 的算法,有点体会,写成文章分享给大家。

ps:跑到第8轮,pix2pix 的应用界限就差不多可以评估了

在开发环境方面,我这次选择了 Anaconda 作为 python 包的管理,有可视化的 APP 工具,也可以通过终端命令行操作,方便了许多。 pix2pix 的话,做实验的话,建议直接使用 Jupyter notebook ,方便直观。

2017 年的这篇论文《Image-to-Image Translation with Conditional Adversarial Networks》介绍得很详细, github 上也有很多 pix2pix 的实现,自行搜索吧。

https://arxiv.org/pdf/1611.07004.pdf

pix2pix 可以实现哪些事情呢?

预测影片的下一帧,我们是不是可以把一张图片变成 GIF 图;

去除马赛克,随意放大 BMP 图片,再也不担心精度不够了;

通过手绘生成名画,比谷歌的 auto draw 先进了点,当然还有各种通过手绘生成的东西,比如猫、袋子、鞋子、人物肖像画;

去除图片的背景,类似于抠图,也可以采用 pix2pix 的方法进行;

生成配色方案,把配色当成图片,进行图片的生成,产生新的配色方案;

从侧脸预测正脸,这样以后只要随便拍一张照片,都可以在三维空间中实时建模出来;

改变模特的摆拍姿势

用在风格迁移也是可以的,还可以做得更加灵活;

从卫星影像生成地图,降低地图服务商的生成成本;

Github 有个 gan 全集,收集了 gan 的相关论文及应用。

https://github.com/nightrome/really-awesome-gan

只要是图片与图片之间的转换,我们都可以尝试 pix2pix 来生成试试。

算法已经没什么秘密可言,站在应用的角度,关键是如何获取大量的成对的图片来进行训练。我们可以借助一些工具,比如 UI2Code 之 利用 antd.sketchapp 生成训练数据 ,还可以通过其他算法生成大量数据,作为 pix2pix 的输入。

例如,针对设计领域,有这么些图像翻译的应用场景:

动态 Logo 设计,用户输入一张静态的 Logo 图片,自动生成动态的 GIF 。

= >

服装设计,只需完成手绘,即可实时看到成品的效果。

类似于 iGAN :

还有景观/建筑设计中,经常要描图,利用 pix2pix ,也是可以实现手绘图至 CAD 图的转化,然后设计师再在 CAD 图上精细地调整方案。

其他的应用场景欢迎留言讨论或微信群里讨论。

*

知识星球

更多可以在知识星球交流。

*

热门文章

人工智能Logo设计师Brandmark

人工智能时代,设计师如何学习新技术

我们利用周末尝试了一次CO-CODING活动

*

关于公众号:

本公众号定期更新人工智能&设计&科技内容。

谈点设计,敲点代码,偶尔创作点人工智能实验产品

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

动态丨情人节降至,百度推出基于 AI 的魅力值测评和诗歌自动生成主题功能

百度搜索在近日推出了基于人工智能技术的“情人节用脸撩,开启桃花运”功能,迎接情人节。 用户在百度搜索 App 中需用语音说一句“开启桃花运”即可进入主题页面。该...

3584
来自专栏机器之心

资源 | Style2paints:专业的AI漫画线稿自动上色工具

3764
来自专栏HaHack

Foreground-Constrained Eulerian Video Magnification

1484
来自专栏大数据挖掘DT机器学习

受众行为分析与人群定向

“物以类聚,人以群分”这句古语不仅揭示了物与人的自组织趋向,更隐含了“聚类”和“人群”之间的内在联系。 例如在现代数字广告投放系统中,最为关键的“人群定向...

4717
来自专栏CreateAMind

暑期课程八、推理、注意力和记忆(Reasoning, Attention 和 Memory)

953
来自专栏AI研习社

用验证机制加强神经网络的能力:研究者提出机器学习防御措施 | 2分钟读论文

来源 / Two Minute Papers 翻译 / 洪振亚 校对 / 囧囧 整理 / 雷锋字幕组 本期论文 Reluplex: An Efficient S...

3525
来自专栏ATYUN订阅号

IBM提出深度学习模型水印方法,可防止侵权

如果机器学习模型可以在照片,电影,音乐和手稿添加水印以表明所有权,防止知识产权窃取,并防止攻击者损害其完整性,该会如何呢?IBM正在申请新的专利,他们可以做到这...

1712
来自专栏智能算法

蚁群算法(独辟蹊径的进化算法)

1. 算法背景——蚁群的自组织行为特征 高度结构化的组织——虽然蚂蚁的个体行为极其简单,但由个体组成的蚁群却构成高度结构化的社会组织,蚂蚁社会的成员有分...

3419
来自专栏大数据文摘

资源 | 从医疗语音到灾难响应,这八大优质数据集快抱走

1563
来自专栏机器之心

学界 | DeepMind论文三连发:如何在仿真环境中生成灵活行为

选自DeepMind 机器之心编译 参与:smith、黄小天、路雪 一只猴子在树林之间敏捷而灵活地跳跃穿梭,或者一名足球运动员快速带球过人、劲射得分,这些表现皆...

3336

扫码关注云+社区