谷歌有只AI,自动给黑白视频上色,走到哪它都认识你

五色栗 发自 凹非寺 量子位 报道 | 公众号 QbitAI
输入黑白,生成色彩

谷歌培育了一只AI,是一只自动给视频上色的AI。

从彩色视频里,截取某一帧作参考。再把所有帧都变成黑白,AI仅仅依靠参考帧的颜色,便可以还原整段视频的色彩了。

把影像从灰暗变到新鲜,只用了下面这一张图。

并且,没有人告诉AI,哪里是人,哪里是柜子。

走到哪,都认识你

这是一个自我监督 (Self-Supervised) 的物体追踪模型。

所以,研究人员喂给神经网络的是,大量的无标记视频数据。

模型要学会预测,黑白视频中,物体的颜色。

最关键的步骤,就是物体跟踪

比如,AI看到了一辆汽车,没有人告诉它那是汽车。

但在黑白的图像里,它还是要准确找到这辆车所在的区域,把参考帧里相应区域的红色填过去。

虽然,模型没有用参考标准标记 (Ground Truth Labels) 训练过。但从结果上看,神经网络依然学成了人类喜闻乐见的样子。

面包上的奶油,即便涂好的样子不同了,AI也依然记得。

姿势也可以追踪

另外,研究人员发现,这个模型还可以用来追踪人类的姿势。

对于主角是人类的视频,神经网络只有了解他们的一举一动,才能更顺畅地为人类上色。

毕竟,他们动作比较多,还喜欢给自己加戏。你看——

你让我坐下?

我就不坐下。

我很厉害吧。

再不鼓掌我…

只要输入一帧带有骨架的图。

AI就可以推断出,视频里其他帧的姿势了。

那么,追踪功夫姿势的话,一定会更燃吧。

然而,并没有,可能只会更佛系,因为——

你的黄色,不,是你的黄色

这是太极的上色效果。

注意,二者清晰度不同,不是AI的问题,是微信动图只支持2MB以内,的后果。

论文传送门: https://arxiv.org/pdf/1806.09594.pdf

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2018-06-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

线性代数与张量?这本开放书籍帮你扫清通往ML的数学绊脚石

项目地址:https://web.stanford.edu/~boyd/vmls/

952
来自专栏量子位

想成为机器学习工程师?这份自学指南你值得收藏

问耕 编译整理 量子位 出品 | 公众号 QbitAI 这篇文章的作者为Andrey Nikishaev,他既是一个软件开发者,也是一个创业者。 ? 如何成长为...

4955
来自专栏人工智能快报

AI系统能帮助合成新材料

麻省理工学院的三位材料科学家及其同事发表的论文中,描述其 AI系统可通过科学论文和提取“食谱”合成特定类型的材料。 2017年11月,美国麻省理工学院的三位材料...

3054
来自专栏量子位

六大你应该了解的人工智能和机器学习核心领域

到底什么是人工智能(AI)? 有些人把AI重新解释为“认知计算”或“机器智能”,而其他人错误的将AI与“机器学习”混淆起来。其实AI不是一种技术。它实际上是一个...

2125
来自专栏达观数据

技术干货 | 推荐系统中的冷启动问题和探索利用问题

冷启动和探索利用问题是推荐系统技术中的两个关键问题,本文结合达观数据的技术实战,对问题的解决方案进行了梳理和介绍。 1 前言 互联网技术和大数据技术的迅猛发展正...

3545
来自专栏新智元

Facebook宣布机器翻译全面采用神经网络,现每日处理45亿次翻译

【新智元导读】Facebook 今天宣布,从使用基于短语的机器翻译模型改为使用神经网络系统来处理其社交网络后端每天的翻译请求,每天翻译超过 45 亿次。与基于短...

3558
来自专栏BestSDK

【深度算法】APP直播想实现“逆天”美颜,你只需要一个人脸识别API

几年前图片美颜教育了市场,到了直播时代,美颜同样成为直播平台的标配。女主播要是在直播中不能自动美颜,那只能靠更精致的妆容来补,而实时直播美颜技术恰好解决了这个问...

1.6K7
来自专栏AI研习社

AI 实时生成材质,效果直逼好莱坞大片

如果你要使用 Principled Shader 通过手动方式创建不同材质上逼真的光影效果,使用者必须对大量的材质参数进行手动微调,并且在每次设置后等待图片渲染...

1122
来自专栏机器之心

学界 | Yoshua Bengio等人提出MILABOT:强化学习聊天机器人

选自arXiv 作者:Iulian V. Serban等 机器之心编译 参与:路雪、李泽南 The Alexa Prize 是亚马逊在对话人工智能领域中发起的一...

2979
来自专栏AI科技评论

自然语言的理解和连续表达 | 微软演讲PPT终章

微软研究院在IJCAI2016的Tutorial上讲述了自己将深度学习、深度神经网络应用于不同场景的情况,之前第二部分提到了深度学习在统计机器翻译和会话中的应用...

3306

扫码关注云+社区

领取腾讯云代金券