产品介绍

最近更新时间:2024-07-17 15:42:11

我的收藏

整体介绍

Windows SDK 使用虚幻引擎(Unreal Engine)渲染高精度的虚拟人形象,有丰富的控制命令和接口,方便第三方开发者将数智人集成到自己的应用中。

为了方便第三方集成,Windows 客户端渲染 SDK 还集成了一系列的配套工具。包括:浮层播放器,浮层浏览器,腾讯云 ASR 语音识别接入, 多模交互(语音,人脸,动作)接入,参数配置工具,程序启动管理器等。



下面分别介绍渲染主控程序和配套工具。

渲染主程序

数智人渲染主程序是运行在 Windows 平台的应用程序,无窗口界面。
主程序完成了数智人的渲染,驱动和问答等功能逻辑,并将渲染结果以背景透明视频流的方式,通过 NDI 协议,在本机和局域网中传输。




对接视频流

需要显示渲染出来的视频流,可以通过以下方式对接:
自行开发应用,对接 NDI 视频流;
集成到支持 NDI 协议(如 RayDataPlus, obs,vMix, 芯象直播助手等)的第三方软件中。
使用配套的浮层播放器显示数智人浮层窗口。

对接控制指令

合作伙伴需要自行开发应用,通过 UDP 或 KCP 协议发送和接收控制命令,配置和控制数智人播报,问答等功能。
控制指令详见 控制协议文档

SDK 供了常用编程语言的示例程序,在 SDK 安装目录的 example/ 下。
示例的编程语言有:
C#
NodeJs

渲染主程序启动及参数配置

渲染主程序有灵活的启动参数配置,来满足不同需求的数智人渲染场景。
在调试启动时,可使用 SDK 安装目录 ue/ 目录下的 run.bat 批处理文件启动渲染主程序。
启动参数详见 命令行参数文档

授权

端渲染 SDK 是按设备授权方式,授权绑定特定机器设备,如更换了渲染设备,或更换了渲染设备的 CPU 、主板等主要配件, 需要重新授权。
授权方式分为在线和离线两种方式,对应客户机器是否能连接外网。
获取授权请联系技术对接人。
授权的相关操作详见 授权文档

浮层窗口播放器



数智人渲染输出的 NDI 视频流,直接对接有一定的开发门槛,为了让合作伙伴更方便的集成数智人,我们开发了数智人浮层播放器。
浮层播放器是一个透明背景的 Windows 窗口程序,可以漂浮在任意的 Windows 程序界面之上,随意拖动改变位置,并且可以让鼠标事件穿透数智人,传递到数智人下面的程序里。
操作方法详见浮层窗口使用说明

配置工具




可以通过配置工具灵活的进行配置,可以对数智人输出的分辨率,视角,服装,音色,背景,等进行配置,并保存到配置文件。