可理解三维场景 处理多模态关联应用需求……“紫东太初”全模态大模型发布

“紫东太初”全模态大模型发布现场。（中科院自动化所供图）

在三维场景里实现精准定位，通过图像与声音的结合完成场景分析……中科院自动化研究所发布“紫东太初”全模态大模型，并首次对外实时展示了该模型在音乐理解与生成、三维场景导航、信号理解、多模态对话等方面的全新功能。

这是记者6月16日在“人工智能框架生态峰会2023”上了解到的信息。

中科院自动化研究所所长徐波介绍，“紫东太初”全模态大模型是在多模态大模型“紫东太初”1.0基础上升级打造的2.0版本，在语音、图像和文本三模态的基础上，加入视频、信号、3D点云等模态数据，研究突破了认知增强的多模态关联等关键技术，具备全模态理解能力、生成能力和关联能力。

“紫东太初”2.0可以理解三维场景、信号等数字物联时代的重要信息，完成了音乐、图片和视频等数据之间的跨模态对齐，能够处理音乐视频分析、三维导航等多模态关联应用需求，并可实现音乐、视频等多模态内容理解和生成。

“从1.0到2.0，‘紫东太初’大模型打通了感知、认知乃至决策的交互屏障，使人工智能进一步感知世界、认知世界，从而延伸出更加强大的通用能力。”徐波说。

目前，“紫东太初”大模型在神经外科手术导航、短视频内容审核、法律咨询、医疗多模态鉴别诊断、交通违规图像研读等领域展现出一定的产业应用前景。

比如，在医疗场景，“紫东太初”大模型部署于神经外科机器人MicroNeuro，可实现在术中实时融合视觉、触觉等多模态信息，协助医生对手术场景进行实时推理判断。（记者宋晨、张泉）