首页
学习
活动
专区
工具
TVP
发布

普通人也能用AI拍出3D大片?这位清华博士后这么做

从《阿凡达》到《流浪地球》,从好莱坞科幻 3D 电影之最到中国科幻 3D 电影之最,从 2009 年到 2019 年,近十年的岁月,见证了中国 3D 影视制作的快速成长和繁盛,也刺激着赵天奇探索人工智能与影视制作结合应用的信心。

影视制作中,科幻电影的火爆让全球影迷感受到了 3D 特效的魅力,这与近年来人工智能技术的突破性进展密不可分。

“比如《流浪地球》的每一个镜头都需要手工制作,这个过程十分复杂,耗费的人力成本也非常之高。人工智能影视制作就是用 AI 替代影视行业中大量的比较枯燥、高成本、低创造性的工作。”聚力维度创始人、CTO、Qualcomm AI 荣誉技术大使 赵天奇如是说。

多年来,赵天奇一直专注人工智能与影视行业的结合创新。北邮读博期间,他创立了一家名为十二维度的公司,定位于数字图像及 AI 在 3D 影视方面的应用,当时,VR 市场的火爆让 3D 找到了最佳落地方向,但他并不满足,在赵天奇的带领下,2016 年,科幻成真实验室首个人工智能 2D 转 3D 平台 “峥嵘” 上线,而他现在还是清华大学人工智能影视方向的博士后。

自动实现 2D 转 3D 有何难?

2011 年开始,随着谷歌、微软研究团队先后将深度学习应用到语音识别领域,2019 图灵奖获得者 Geoffrey Hinton 团队在 ImageNet 大赛中利用深度学习将图片识别的错误率大幅降低,由深度学习技术推动的人工智能开始得到更多科研机构、工业界的高度关注。

尽管那时人工智能的概念还没有如今这么火爆,但赵天奇敏锐地察觉到深度学习背景下语音识别、计算机视觉在影视行业所变革的潜力。

传统的 3D 内容制作技术主要有两种:一种是 3D 双机实拍,一种就是 2D 后期转 3D,但仍需要耗费巨大的资金、人力和时间成本。而技术的瓶颈直接导致 3D 内容的匮乏,目前国产 3D 电影呈扎堆之势,但成熟者却不多。那么,将 2D 视频渲染成 3D 有哪些技术难点?

赵天奇强调,一是影视内容的类别十分复杂,例如人物场景、自然场景、历史场景、想象场景等,每增加一个维度就上升一个级别;二是对观影效果的要求非常高,将丝毫的抖动误差排除到最小。为此,他们针对性地设计了多级神经网络、时空复用信息、对抗神经网络等技术,最终达到了院线级的水平。

很多算法是 “玩具级”的,只能用来娱乐

目前,聚力维度在 3D 领域的产业化已经非常成熟了,包括院线电影、电视剧、视频直播等 ToB 领域,以及涉及个人短视频、2D 转 3D 的 ToC 领域。

谈及此前争议颇多的 “AI 换脸” 技术,在赵天奇看来,“有很多算法都是‘玩具级’的,娱乐可以,但没有人用它来生产内容。”

他认为,如果将人工智能的应用分为识别、决策、生成、理解几种任务的话,聚力维度是一家专注于影视产品生成的公司。怎么理解呢?“就是给人去看、去听,而不是帮人决策。”

聚力维度还联合 Qualcomm 共同为终端用户提供语音技术服务。赵天奇认为,Qualcomm 本身在移动端的基因非常深厚,也是非常符合场景需求的,对于 AI 技术快速落地到移动端,也是最有发言权的。

当然,这只是一个起点,未来在 ToC 领域像变脸、面部捕捉、动作捕捉、3D 转换等(技术)双方都可以进行更全方位的合作。而且,赵天奇团队也在积极探索真人级的面部捕捉、动作捕捉技术,计划与电视台等合作落地“虚拟主播” 项目。

不久前,赵天奇被评为 Qualcomm AI 荣誉技术大使,这无疑是对其团队的一种肯定。赵天奇强调:“我们做这个方向在 AI 领域确实也是一个比较独特的方向,相对于大热的安防人脸识别、自动驾驶决策等领域,影视生成并不是所有人都能理解的。但我们也发现:不管是影视传媒还是互联网领域的合作伙伴,都可以与之合作加速 AI 影视制作的落地。”

“人人都可以做影视作品”,是赵天奇对当下 AI 在影视行业产生变革的愿景。例如,定制化电影、时效性电影、多结局交互游戏式电影都是他们正尝试突破的方向。未来,赵天奇还希望利用 AI 技术将面部捕捉、声音捕捉、动作捕捉、动作生成全流程覆盖,真正实现“视频作家”,并将全流程服务在产业中快速落地。

专用人工智能是没有泡沫的

据英国风投基金 MMCVentures 发布的最新研究报告显示,欧洲 2830 家标榜为 AI 的公司中,有 1580 家符合 AI 公司的定义,也就是说,近四成的公司其实和 AI 没有任何关系。当时,这一数字的公布,引起了圈内不小的震动。

“从现阶段来讲,如果大家对通用人工智能 / 强人工智能有所期待的话,这件事情应该是有泡沫的;相反,专用人工智能,从本质上是没有泡沫的。”赵天奇认为。

他还建议:专注于高校里的研究人员,更适合研究通用人工智能,因为企业拥有数据,在盈利压力之下,可能会在某个专项问题上比高校内的研究人员取得更为突出的成果;但同样企业需要盈利,就无法专门去研究通用人工智能,所以新的技术就可能出现在纯研究人员的高校群体中,“尽量往需要小数据,不需要数据,通用人工智能这条路上去研究;如果是创业者,一定要针对他自己熟悉的领域以及对应的专用人工智能结合,彻底地分析这件事情的可行性、局限性。”

当然,AI 算法只是意味着开了个好头,真正考验的是创新企业如何结合自身业务将算法进行商业落地。要知道,AI 的实际技术门槛很高,在发展过程中,真正的 AI 公司也可能遇到数据和技术的挑战。在这一点上,对于持续高涨的中国 AI 企业来讲更是挑战巨大。

对技术与行业时刻保持深刻理解,一定要两者结合才能形成真正落地的项目。”对于赵天奇而言,从最初 2012 年创立团队,经历了 2016 年颠覆创新,现在已经能准确把握人工智能与影视行业结合的痛点,让人人都能做电影,科幻般的人工智能影视制作方式成为现实。

特别提示:

Qualcomm 荣誉技术大使所发表的内容及观点均属原作者个人意见,并不必然代表 Qualcomm 或其分支机构的立场。这些内容仅供信息参考,并非获得 Qualcomm 或其他任何一方的认可或代表其观点。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20190424A0DO3V00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券