首页
学习
活动
专区
工具
TVP
发布

最强动画师辅助!NVIDIA深度学习技术直接从音频生成面部动画!

最近,Nvidia开发了一个挺牛逼程序,有多牛逼呢?调用一段音频,程序会自动根据音频内容模拟讲话的面部动画,而且唇部运动准确度还非常高,简直就是表情动画师的外挂啊!

这款音频生成口型的程序是基于深度学习AI技术的,只要给定一段语音,程序就会开始工作,让角色根据音频进行“正确讲话”。

Facial Animation made AI-easy

智能AI使面部动画变得容易

Nvidia开发的这款程序叫Omniverse Audio2Face,Audio2Face简化了3D角色的动画以匹配任何画外音轨道,无论是为游戏、电影、实时数字助理制作动画角色,还是只是为了好玩,你都可以将该应用程序用于交互式实时应用程序或作为传统的面部动画创作工具。反正不违法,你用在什么地方上都行。

▲NVIDIA Omniverse Audio2Face应用程序概述

How It Works

程序工作原理

Audio2Face预装了“Digital Mark(数字标记)”——一个3D角色模型,可以用你提供的音轨制作动画,所以入门很简单——只需选择你的音频并上传。然后将音频输入到预先训练的深度神经网络上,输出驱动角色网格的3D顶点以实时创建面部动画。你还可以选择编辑各种后处理参数来编辑角色的表现。在此页面上可以看到的结果主要是Audio2Face的原始输出,几乎没有编辑过任何后处理参数。

▲工作原理

音频输入

使用录音或动画直播

只需录制语音音轨,输入到应用程序中,即可看到音频语音所反馈的3D脸部,仿真程度非常高,甚至可以通过麦克风实时生成面部动画。

更牛的是,Audio2Face将能够轻松处理任何语言,Nvidia团队在不断更新该应用程序以让AI学习更多的语言,当前是以英语、法语、意大利语和俄语查看这些测试。

角色传递

瞬间换脸

Audio2Face可重新定位到任何3D人脸或‘脸部’,无论是逼真的还是风格化的。当前从Digital Mark重新定位到会唱歌的犀牛上,吻合程度非常高!

多层实例化

赋予单个角色甚至多个角色

运行多个Audio2Face实例很容易,在场景中包含任意数量的角色——所有角色都来自相同或不同的音轨。将声音注入二人组之间的对话、三人组之间的合唱、同步四重奏 - 以及更多情况条件下,都可以适应并产生正确结果,还可以调高或调低每张脸上的面部表情。

情绪控制

戏剧化技术

Audio2Face能够立即选择角色的情绪并为其设置动画。网络会自动操纵面部、眼睛、嘴巴、舌头和头部运动,以匹配选择的情绪范围,并具有不同程度的强度。不过,此功能在开发中,但即将推出,所以当前并无动态展示。

See Audio2Face in Action

Audio2Face实战测试效果

▲模拟外星人说话

驱动幻想生物和外星人的面部动画。在这里,有数字标记推动外星人的表现。

▲动画聊天机器人

在2020年GTC春季大会上,Misty是一款交互式天气机器人,由Audio2Face在运行时驱动,演示了从真实的人体网格重定位到用作交互式服务代理的风格化角色网格。

▲万能机械

在GeForce 30系列发布期间推出的Audio2Face出现在Omniverse Machinima演示中。众所周知,面部动画非常复杂且成本高昂,实际就是费力不讨好,Audio2Face自动化详细的面部动画,使3D内容创建过程民主化,也可以大大减轻动画师的工作。

· · · 全文完 · · ·

往期优质文章

视频号更多有趣视频等着你

附注:分享资源均属于网络收集并整理所得,资源所有权属于原作者,如资源内有异议请联系原作者,若有侵权请联系小编删除文章并取消分享。所分享的资源仅供于学者进行学习和研究测试使用,下载后请您于24小时内删除,谢谢合作。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20211109A01JBM00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券