中科院联合多所高校推出多模态音乐生成框架：通过文本、图像和视频等多种输入生成音乐

中科院联合多所高校推出多模态音乐生成框架：通过文本、图像和视频等多种输入生成音乐。）是中国科学院信息工程研究所、中国科学院大学网络空间安全学院、上海人工智能实验室、上海交通大学等机构联合推出的多模态音乐生成框架。该框架能够从文本、图像和视频等多种输入模态生成音乐，解决了数据稀缺、跨模态对齐弱和可控性有限的问题。 VMB 通过构建文本桥接和音乐桥接，显著提升了音乐质量、模态对齐和定制化能力。