NVIDIA开发新的基于深度学习的算法,实时为黑白视频上色

编译:chux

出品:ATYUN订阅号

手动着色黑白视频是需要大量劳动力且繁琐的过程。 但是现在,由NVIDIA研究人员开发的一种新的基于深度学习的算法有望使这个过程变得更加容易,新的框架允许视觉艺术家简单地着色场景中的一个帧,并且AI可以实时地将场景的其他部分着色。

“视频在帧之间包含高度冗余的信息。这种冗余已在视频压缩和编码进行了广泛研究,但较少的探索更先进的视频处理,例如着色的视频,”研究员Sifei Liu在论文中指出,“现在,只需几个关键帧就可以通过在稀疏位置进行注释来轻松实现整个视频的着色。”

卷积神经网络仅从一个彩色帧中推断出颜色应该是什么,并在剩余帧中填充颜色。这项工作的独特之处在于,可以通过交互式方法实现随之而来的着色,其中用户注释图像的一部分,从而产生成品。

团队使用NVIDIA TITAN XP GPU,多个数据集用于颜色,HDR和掩模传播的数百个视频训练这个混合网络。以颜色和掩模传播为例,Liu在MS-COCO数据集生成的合成帧对上预先训练模型,然后在ACT数据集上微调网络,该数据集包含7260个视频序列,大约600000帧。

Switchable Temporal Propagation Network(STPN)框架包含一个线性传播模块,可以提供各种视频属性,如颜色,高动态范围组件(HDR),以及从关键帧到不包含此类特性的所有其他帧的对象掩码。轻量级卷积神经网络根据帧的内容指导传播。

框架速度很快,可以实时实现结果。如研究中所解释的,该方法还产生比先前几种最先进方法更好的定量结果。

Liu和团队在论文中指出,“这些图像的人工特性更不明显,颜色也更有活力,STPN提供了一种在视频中随时间传播信息的通用方法。在未来,我们将探索如何结合中级和高级视觉线索,例如检测,跟踪,语义/实例分割,用于时间传播。”

这项工作将于9月8日至14日在德国慕尼黑举行的欧洲计算机视觉会议(ECCV)上展出。

论文:arxiv.org/pdf/1804.08758.pdf

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2018-09-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

CVPR论文复现争议后续:华人一作苦战两月给出有态度的分析结果

今年 9 月,reddit 网友 Michael Klachko 对 CVPR 2018 的一篇接收论文《Perturbative Neural Network...

912
来自专栏算法+

图像去模糊算法 循序渐进 附完整代码

这样看,虽然知道是在做一个点面计算的操作,但是要具体描述卷积的用途或者原理,是有点困难的。

7984
来自专栏ATYUN订阅号

伯克利人工智能研究:针对深度神经网络的物理对抗例子

? 深度神经网络(DNNs)在各种应用领域都取得了巨大的进展,包括图像处理、文本分析和语音识别。深度神经网络也被作为许多网络物理系统的重要组成部分。例如,自动...

38210
来自专栏大数据文摘

我在谷歌大脑见习机器学习的一年:Node.js创始人的尝试笔记

1693
来自专栏企鹅号快讯

机器/深度学习的基础知识笔记

百度PaddlePaddle之新手入门培训视频(http://bit.baidu.com/course/detail/id/137.html)是一篇很好的机器学...

3879
来自专栏目标检测和深度学习

DeepMind 最新研究:通过删除神经元理解深度学习!

理解深度神经网络的运作机制对于帮助我们解释它们的决定,以及构建更强大的系统起到了至关重要的作用。例如,试想在不了解个体齿轮如何啮合的情况下去构建时钟会有多么的困...

3497
来自专栏机器之心

观点 | AutoML、AutoKeras......这四个「Auto」的自动机器学习方法你分得清吗?

让我们先来看一个简短的童话故事… 从前,有一个魔法师,他使用一种无人再使用的编程语言,在一种无人再使用的框架下训练模型。一天,一位老人找到他,让他为一个神秘的...

1564
来自专栏机器之心

为裸女自动穿上「比基尼」,借助GAN打造强劲的内容审核方法

互联网易于访问和使用广泛的特性使其比以往更容易地在任何时间搜索到任意的内容。然而这种便利性是有代价的:在很多情况下,人们都会搜索到不希望出现的内容。而研究如何自...

1191
来自专栏机器人网

AI界的七大未解之谜:现在揭晓

OpenAI在官方博客上丢出了7个研究过程中发现的未解决问题。 OpenAI希望这些问题能够成为新手入坑AI的一种有趣而有意义的方式,也帮助从业者提升技能。 O...

3408
来自专栏机器学习算法原理与实践

强化学习(二)马尔科夫决策过程(MDP)

    在强化学习(一)模型基础中,我们讲到了强化学习模型的8个基本要素。但是仅凭这些要素还是无法使用强化学习来帮助我们解决问题的, 在讲到模型训练前,模型的简...

2303

扫码关注云+社区

领取腾讯云代金券