专栏首页量子位手机拍视频,实时换背景,继马卡龙玩图后,Versa又出了一款更厉害的App

手机拍视频,实时换背景,继马卡龙玩图后,Versa又出了一款更厉害的App

郭一璞 发自 凹非寺 量子位 报道 | 公众号 QbitAI

在前不久荣耀9X的发布会上,一个名叫绿幕侠的App亮相了。

现场的展示中,这个App能让手机拍摄的视频,产生电影绿幕一般的效果,实时从视频中去掉背景,只保留主角人物,并把背景换成用户设定好的特效。

想要实时的进行视频处理,还能实现精细的“抠图”效果,无论对于算法还是算力来说,恐怕都不是一件容易的事。

绿幕侠背后的公司,正是此前风靡一时的手机P图应用马卡龙玩图所属的AI公司Versa

一帧一帧做语义分割

Versa CTO赵维杰介绍说,绿幕侠背后用到的视频人景分离技术,就相当于把视频拆成一帧一帧,实现每一帧的语义分割。

语义分割并不难,难点在于连续应用在每一帧上。

首先,必须保证对每一帧的语义分割处理时间低于30毫秒,时间一到,就要开始处理下一帧了,否则视频就会变卡;

其次,因为是将语义分割应用在视频中,因此必须保证分割出来的精确度,一方面不能把边缘处理的太粗糙,一方面要保证每一帧内容的连续性,不能上一帧人物手里还有个包包,下一帧包包就被抠掉了,制造出一种“薛定谔的包包”状态;

最后,模型需要在手机本地运行,因此不能太大,只能有1~2M的空间。

通过自研“概念网络”的优化,提升了当前帧的分割精确度,又将时间空间信息嵌入到更紧凑的维度上,降低backbone的复杂度,赵维杰他们花了半年多完成了绿幕侠算法的研究,将每一帧的处理时间降到30毫秒以下,模型也被压缩到了1M左右。

寻找适配芯片

但是,模型虽然做好了,新的问题却出现了。

Versa技术团队找了许多主流手机芯片运行这个模型,发现这些芯片跑出来效果都不够好。要么算力不够,导致卡顿,必须把模型压缩才能运行,但这样效果就会变差;要么功耗太高,发热太严重,用一会儿手机就卡了。

直到他们尝试在荣耀9X的SoC麒麟810上运行模型,发现不仅算力和功耗达到了要求,而且还有了另外一个好处:I/O的设计更好,数据搬移效率高。

“其实手机小模型运行所耗的时间很多不是在运算上的,而是耗在了数据搬运上”,赵维杰这样对量子位解释。

当他们在麒麟810上测试手机小模型时,输入了1080P的高分辨率视频,跑出结果后惊奇的发现:

麒麟810和GTX1070的运行结果在一个量级,手机上跑60ms的模型,在PC上(加上I/O)大概是20ms。

为什么一个手机芯片能跑的跟GTX1070这种电脑GPU的运行结果相提并论?

赵维杰的解释是,对视频小模型来说,桌面GPU虽然算力强,但是小模型根本用不上这么大的算力,反而视频数据显存搬移的I/O是瓶颈,时间都花在数据搬运上了。麒麟810的I/O设计比较出色,省了不少时间。另外,桌面GPU是32bit浮点,810是16bit浮点。GPU是通用芯片,NPU是专门用于神经网络计算,对算子可以特别优化。最终的总时间上跟手机上可比。

因此,Versa也决定,这个新的App将在荣耀9X手机上首发,月底上线应用商店。

算力和算法的博弈

到这里,你可能看出来了一个问题:

如果AI模型必须要在足够新、足够强的芯片上运行,那便宜的手机怎么办呢?

一种思路是模型压缩。不过赵维杰觉得,模型从设计起就应当是一个小的东西,而不是从一个巨大的模型逐渐压缩到小,毕竟,模型总要拿出来用的,并不能只用在最顶尖的硬件上。

“AI公司和硬件公司都在追求一个中间地带,AI公司希望能在现在的硬件上就跑更好的算法,硬件公司在追求越来越厉害的硬件平台,让越来越大的算法在体积小的移动的硬件上跑得起来。”赵维杰这样说。

针对不同的平台,Versa也提供了不同的算法。比如此前已有的产品马卡龙玩图,赵维杰提到,需要在在最优秀的硬件上跑出最优秀的效果,在普通硬件商做出最大覆盖,最低端手机可以上云端跑,“提供差异化的算法,是任何一个AI公司追求的本质。”

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「好看」吧 !

本文分享自微信公众号 - 量子位(QbitAI),作者:关注前沿科技

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-08-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 细思极恐!只需54块钱,你也能让AI伪造一系列联合国发言

    最近,有研究人员真就搞出了一个。手握这个生成器,你就可以无限生成逼真的联合国演讲风格的内容。

    量子位
  • 深度学习get新技能:能分辨48种野生动物,准确率92%

    李杉 编译自 NewScientist 量子位 报道 | 公众号 QbitAI 春天来了,万物复苏。在坦桑尼亚西北部的塞伦盖蒂大草原上,计算机们正在履行它们的职...

    量子位
  • 如何用点云对车辆和行人进行识别分类?这是MIT学生的总结

    问耕 编译整理 量子位 出品 | 公众号 QbitAI ? 本文作者是MIT的大二学生Michael Gump(阿甘),内容为他在无人车公司Voyage的工作总...

    量子位
  • 四篇NeurIPS 2019论文,快手特效中的模型压缩了解一下

    在即将过去的 2019 年中,快手西雅图实验室在 ICLR、CVPR、AISTATS、ICML 和 NeurIPS 等顶会上发表了十多篇论文。

    机器之心
  • 使用PyTorch建立你的第一个文本分类模型

    我总是使用最先进的架构来在一些比赛提交模型结果。得益于PyTorch、Keras和TensorFlow等深度学习框架,实现最先进的体系结构变得非常容易。这些框架...

    磐创AI
  • 电信核心系统去小型机化-去“I”

    去“IOE”是一个甚嚣尘上的话题,在经年的渲染之后,很多企业都在以各自的方式在进行演绎。 云和恩墨最近帮助用户实施了一个重要的“去I”项目,引用恩墨一线负责人...

    数据和云
  • ACL2019 | 中文到底需不需要分词

    近日,香侬科技发表论文Is Word Segmentation Necessary for Deep Learning of Chinese Represent...

    AI科技评论
  • OpenAI 发现独特情感神经元,无监督学习系统表征情感取得突破

    【新智元导读】 OpenAI 的研究员今天在博客上宣布,他们开发了一个无监督学习的系统,能够很好地对情感进行表征。在数据集 Stanford Sentimen...

    新智元
  • 干货 | 【深度学习】 在 【推荐算法】 上的应用研究进展

    关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第一 【Python】:排名第三 【算法】:排名第四 文章来源:知乎 作者:赵鑫 深度学...

    昱良
  • pmbok笔记 第九章——项目资源管理

    yeedomliu

扫码关注云+社区

领取腾讯云代金券