Google最近正在研究一个新实验,让人工智能帮你画画,具体地说,是帮助你更快更准确地画画。该软件称为Sketch-RNN,是一个简单易用的网络应用程序。谷歌的想法很简单:先选择一个已经存在的对象,开始绘制,软件会尝试找到自动画好它的最佳方法。
进入此链接可运行sketch-rnn的演示demo: https://magenta.tensorflow.org/assets/sketch_rnn_demo/index.html 对于移动端用户的数据连接:此第一个演示的大小约为5 MB数据。 每次在演示中更改模型时,将耗费另外5 MB的数据。
CSDN编译
译者:李乐
原文:Draw Together with a Neural Network
https://magenta.tensorflow.org/sketch-rnn-demo
大卫哈(hardmaru,hardmaru)
JonasJongejan(HalfdanJ,HalfdanJ)
伊恩·约翰逊(Enjalot,enjalot)
我们进行了一个互动的网络实验,让您可以使用一个称为sketch-rnn的递归神经网络模型来作画。我们利用数百万个从“Quick, Draw!”游戏https://quickdraw.withgoogle.com/data/中抽取的涂鸦来训练网络进行作画。一旦你开始绘制一个对象,sketch-rnn就会根据落笔的地方产生很多可能的方法来继续绘制这个对象 。你可以尝试运行文章开头的演示Demo。
在上述演示中,根据指示,您开始绘制特定对象。一旦你停止涂鸦,我们的神经网络将接管作画并尝试猜测你的涂鸦的其余部分。之后您可以再次接管绘画并继续上述过程。我们训练了大约100种模型,您可以从中选择任意一种进行实验。此外,一些模型已经在多个类别上进行了训练。
其他sketch-rnn演示
下面的演示建议最好在桌面浏览器上运行。
多预测
https://magenta.tensorflow.org/assets/sketch_rnn_demo/multi_predict.html
该演示类似于第一个演示。在这个版本中,您将在左侧的区域中绘制草图的开头,模型将在右侧较小的框中预测图形中的其余部分。这样,您可以看到模型预测的各种不同的结果。预计的结果中有的可能是意料之中的,有的是奇怪的、出乎意料的,也有的是可怕的或是完全错误的。
您还可以选择不同的类别,从而使模型基于相同的不完整的草图绘制不同的对象,以驱使模型绘制像方形猫或圆形卡车的东西。您可以随时中断模型,并继续在左侧区域内绘制图形,并使模型不断地预测您停止笔画的位置。
这是我的救火车。有很多类似的东西,但这一种是我的风格。
由于该模型是针对其他人涂鸦的数据集进行了训练的,有趣的是,我们可以在操作过程中故意用一些与大众风格不同的方式去进行作画。
插值
https://magenta.tensorflow.org/assets/sketch_rnn_demo/interp.html
除了预测不完整的图形的其余部分之外,sketch-rnn还可以从一个图形变换到另一个图形。在插值演示中,您可以让模型利用两个随机按钮来随机地生成两个图像。点击interpolate按钮之后,模型将生成一张新的图像,该图像被认为是这两个原始图像之间的插补。在上面的图像中,模型在自行车和瑜伽位置之间进行了插值。
变分自动编码器
https://magenta.tensorflow.org/assets/sketch_rnn_demo/multi_vae.html
该模型还可以模仿您的作画生产类似的涂鸦。在变分自动编码器演示中,您将绘制指定对象的完整图像。在左侧区域绘制完整草图后,点击自动编码按钮,模型将开始在右侧较小的框中绘制类似的草图。注意,这个过程并非完全复制您的作图,模型将尝试模仿您的绘图而绘制出多样的涂鸦。
您可以尝试绘制其他类别的绘图对象,并查看模型如何解释您的绘图。例如,要画一只猫,并且训练了用来绘制螃蟹的模型,这样就能生成猫样的螃蟹。