首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >使用体积视频创建数字人

使用体积视频创建数字人

作者头像
用户1324186
发布2022-04-11 19:31:38
1K0
发布2022-04-11 19:31:38
举报
文章被收录于专栏:媒矿工厂媒矿工厂

来源:YouTube 主讲:Piotr Uzarowicz - Arcturus 内容整理:周凯 体积视频仍处于发展的早期阶段,过去两年中,娱乐公司,体育赛事团队等意识到数字人可以代替面对面的活动,并且可以利用数字人实现人工智能驱动的世界。本文介绍了如何使用体积视频创建数字人,体积视频的后处理方法和传输方式等。

目录

  • 使用体积视频系统创建数字人
  • 体积视频的后处理方式
  • 数字人内容如何分发?

使用体积视频系统创建数字人

如图所示是微软混合现实(由 metastage 运营)创建数字人的方法,使用 53 个 RGB 相机和 IR 相机动态捕捉人物动作,然后拼接成点云,进一步生成包含纹理的 mesh,最终变成可传输的 mp4。

下图是微软在洛杉矶的混合现实拍摄工作室,工作室直径 30 英尺,高度 20 英尺,实际上理想的拍摄体素大小为直径 8 英尺。工作室中有 16 个补光板,确保光照均匀。拍摄之后使用前面提到的微软重建软件进行处理,最终输出可用的 mp4 文件。重建后的数字人可以被导入到 3D 引擎中,如 Unity 和 Unreal。

Metastage 已经活跃了一段时间,并且在最近发布了一款 Metastage 应用,将真实的人类表演带入数字世界,带来真实的沉浸式体验,尤其是通过数字人与观众建立情感和身体上的联系。下面是 Metastage 的演示视频:

http://mpvideo.qpic.cn/0bc3aaaaeaaaciacze2j65rfaagdaiaaaaqa.f10002.mp4?dis_k=e9b249b4bdf80c3e1bc8f1a4ad2c3e5e&dis_t=1649676617&vid=wxv_2338254339376775169&format_id=10002&support_redirect=0&mmversion=false

在更轻量化和更具娱乐性应用方面,韩国 BTS 帮助发布了一款新的三星手机,手机中内置了他们的数字人版本。在数字人的驱动方面,基于机器学习的语音驱动或者动作驱动等方法也可以用于数字人,从而为交互带来更大的便利。

体积视频的后处理方式

大多数人对传统的视频后处理流程比较熟悉,例如 Adobe 的视频编辑软件等。数字人的处理过程保留了一些相似性,但是加入了非常重要的 3D 属性编辑功能。HoloEdit 是一款专为立体视频设计的编辑软件,支持 3D 模型的交互式编辑,如修补 mesh,清理纹理和压缩等。HoloEdit也可以作为插件用在三方软件中,如用在 maya 中时,可以通过修改一个关键帧的 mesh,然后重新导入并应用在整个序列上,就可以完成对一段 mesh 序列的修改。下面的视频是 HoloEdit 的效果。

http://mpvideo.qpic.cn/0b2eliaaaaaaa4ac4nsj65rfawwdabnaaaaa.f10002.mp4?dis_k=cbea0c509a85569face33d9bb1d9fd59&dis_t=1649676618&vid=wxv_2338255598657830914&format_id=10002&support_redirect=0&mmversion=false

数字人内容如何分发?

数字人内容分发是指在创建完成后,通过合适的方式将其推送给用户。由于体积视频可以在 webgl 中使用,所以它可以在大量设备上使用。8thWall 公司在探索数字人 AR 内容分发的路上迈出了重大的一步,一个最新的示例是“汉堡王上的whopper”,如下图所示:

Arcturus 提出了一种面向动态 3D 内容的自适应传输机制 Holostream,使得体积视频的传输可以简单地部署到大多数的应用中。他使用了相同的传输设施,能够以带宽允许的最高质量传输体积视频。此外,Holostream 进一步利用 CDN,将多边形面片进行流式传输,保留了数字人的 3D 属性,并且支持交互(示例视频见 https://arcturus.studio/holostream/)。

最后附上演讲视频:

http://mpvideo.qpic.cn/0bc3g4aaeaaapmacymkj6zrfan6dai3qaaqa.f10002.mp4?dis_k=956669b907cdb793c74a3606cd38e75a&dis_t=1649676618&vid=wxv_2338255315122880514&format_id=10002&support_redirect=0&mmversion=false

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2022-04-03,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 媒矿工厂 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 使用体积视频系统创建数字人
  • 体积视频的后处理方式
  • 数字人内容如何分发?
相关产品与服务
图像处理
图像处理基于腾讯云深度学习等人工智能技术,提供综合性的图像优化处理服务,包括图像质量评估、图像清晰度增强、图像智能裁剪等。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档