视频人物秒变机器人，通义免费开启角色扮演

近日，通义App推出了一项名为“角色扮演”的新功能，该功能允许用户上传一段视频后，在App内实现现实与虚拟世界的跨界互动，完成角色的华丽变身。

据称，这项功能已吸引了众多用户的兴趣，甚至有员工在工作时间也沉浸其中。

要使用“角色扮演”功能，用户仅需准备一部智能手机、安装通义App，并录制一段不超过15秒的视频。

具体的操作流程为：打开通义App后，选择“巴黎2024”项目下的“角色扮演”模块，随后就可以开始创作自己的变身视频了。

“角色扮演”功能背后的技术支撑是通义实验室研发的人工智能模型——Motionshop。

该模型通过视频处理、角色跟踪与分割、姿态估计、光照估计等技术手段，实现了动态视频中主角从现实到虚拟世界的转换。

以下是Motionshop实现这一过程的具体技术细节：

| 角色跟踪和分割

通过对视频中的角色进行检测，并进行像素级的跟踪和分割，同时补全分割后的区域，确保转换过程中背景的一致性。

| 姿态估计和3D映射

应用高精度的姿态估计方法来捕捉角色的动作和表情，并将其映射到三维模型上，使新的3D模型可以模拟原始角色的动作和表情。

| 光照估计

为了保持新模型与原始视频中的光照效果一致，系统会对视频中的光照情况进行精细估计。

| 3D渲染

利用TIDE渲染引擎，Motionshop能够高效地将3D模型渲染成逼真的图像序列，并根据估计的场景光照条件，实现视觉上的无缝融合。

目前，“角色扮演”功能已正式上线，并且完全免费供用户体验。

通义App还计划在近期增加用户自定义角色创建的功能，让用户体验更加丰富多样。

体验方式：通义【APP】