个性化AI音乐触手可及：腾讯升级SongGeneration并开源自动化数据工具SongPrep

近日，腾讯AI Lab推出SongGeneration音乐生成大模型的升级版本，此次更新聚焦三大核心更新：显著提升的英文生成质量、支持4分钟以上长歌曲生成、开源数据生成方案SongPrep。这一升级进一步降低AI音乐生成的技术门槛，同时将生成质量提升至更接近专业制作水准。

英文生成能力升级，全球化创作无障碍

新版SongGeneration实现了突破性进展。通过引入百万级高质量英文音乐数据训练和创新的多维度偏好对齐技术，模型在英文歌词的发音准确性、语义连贯性和情感表达方面达到全新高度。

技术实现亮点：

• 音素级对齐优化：通过预训练的ASR模型计算音素错误率构建偏好数据对，显著提升英文歌词与旋律的匹配精度。
• 跨语言语义理解：基于LLM tokenizer的多语言能力，确保英文歌词不仅发音准确，更能传达恰当的情感和意境。
• 风格适应性增强：无论是流行、摇滚、电子还是古典风格，模型均能生成地道的英文歌曲，满足全球用户多样化创作需求。
• 测试结果表明，新版模型在英文歌词准确度上接近中文水平，为全球音乐创作者提供了真正可用的跨语种创作工具。

突破4分钟时长限制，完整作品创作成为现实

此次更新最具里程碑意义的功能是突破时长限制，支持生成4分钟以上的完整歌曲。这标志着开源AI音乐生成从“技术演示”迈向“完整作品创作”的关键一步。

技术架构创新：

• 长序列建模能力：基于创新的LLM-DiT融合架构和超低比特率编解码技术，模型能够有效处理长序列音乐数据，确保长歌曲的结构连贯性与情感一致性。
• 内存优化机制：采用分层注意力架构和智能内存卸载策略，在保持48kHz高清音质的同时，大幅降低长序列生成的内存需求。
• 结构完整性保障：通过多类别token并行预测策略，确保长歌曲在段落结构、节奏变化和情感递进方面保持专业水准。

这意味着用户现在可以生成真正具备商业价值的完整音乐作品，而非仅仅是短视频片段或演示样本。

开源数据生成方案SongPrep，构建开放音乐AI生态

秉承腾讯开源精神，本次更新同步开源了高质量音乐数据生成方案SongPrep，解决了音乐AIGC领域高质量数据稀缺的核心痛点。

技术方案创新：

• 端到端全链路处理能力：区别于传统“先分离后识别”的两步法，SongPrep实现从原始音频到结构化数据的直接输出。
• 歌曲段落自动划分：精准识别前奏、主歌、副歌、间奏、尾奏等完整结构。
• 多语言歌词精准转录：支持中英文混排歌词转录，准确率处于业内领先水平。

这一方案可以将极大降低音乐AI领域的研究门槛，让更多开发者和研究团队能够基于高质量数据工具构建自己的音乐生成模型。

性能评测

中文

英文

开源生态共建

目前相关代码及模型权重已开源，后续会持续更新迭代，敬请关注。

SongGeneration仓库：

https://github.com/tencent-ailab/SongGeneration

SongPrep仓库：

https://github.com/tencent-ailab/SongPrep

在线Demo：

https://huggingface.co/spaces/tencent/SongGeneration

关注腾讯开源公众号

获取更多最新腾讯官方开源信息！

加入微信群即可了解更多“腾讯开源新动态”

图片

#腾讯、#SongGeneration、#音乐生成大模型、#开源