谷歌有只AI，自动给黑白视频上色，走到哪它都认识你

五色栗 发自 凹非寺 量子位 报道 | 公众号 QbitAI

△ 输入黑白，生成色彩

谷歌培育了一只AI，是一只自动给视频上色的AI。

从彩色视频里，截取某一帧作参考。再把所有帧都变成黑白，AI仅仅依靠参考帧的颜色，便可以还原整段视频的色彩了。

把影像从灰暗变到新鲜，只用了下面这一张图。

并且，没有人告诉AI，哪里是人，哪里是柜子。

走到哪，都认识你

这是一个自我监督 (Self-Supervised) 的物体追踪模型。

所以，研究人员喂给神经网络的是，大量的无标记视频数据。

模型要学会预测，黑白视频中，物体的颜色。

最关键的步骤，就是物体跟踪。

比如，AI看到了一辆汽车，没有人告诉它那是汽车。

但在黑白的图像里，它还是要准确找到这辆车所在的区域，把参考帧里相应区域的红色填过去。

虽然，模型没有用参考标准标记 (Ground Truth Labels) 训练过。但从结果上看，神经网络依然学成了人类喜闻乐见的样子。

面包上的奶油，即便涂好的样子不同了，AI也依然记得。

姿势也可以追踪

另外，研究人员发现，这个模型还可以用来追踪人类的姿势。

对于主角是人类的视频，神经网络只有了解他们的一举一动，才能更顺畅地为人类上色。

毕竟，他们动作比较多，还喜欢给自己加戏。你看——

你让我坐下？

我就不坐下。

我很厉害吧。

再不鼓掌我…

只要输入一帧带有骨架的图。

AI就可以推断出，视频里其他帧的姿势了。

那么，追踪功夫姿势的话，一定会更燃吧。

然而，并没有，可能只会更佛系，因为——

△ 你的黄色，不，是你的黄色

这是太极的上色效果。

注意，二者清晰度不同，不是AI的问题，是微信动图只支持2MB以内，的后果。

论文传送门： https://arxiv.org/pdf/1806.09594.pdf