YuE2：港科大与 M-A-P 联合开源的符号规划式音乐生成模型深度评测

1. YuE2是什么

YuE2是由香港科技大学与多模态艺术计划团队联合研发的开源音乐生成模型，其核心设计理念是在文本/音频条件与最终波形之间引入一层显式的符号乐谱规划，以ABC记谱法呈现旋律与和弦。该模型采用约36亿参数的混合Transformer架构，能够依据歌词和风格提示先生成可编辑的乐谱，再将其渲染为48kHz完整歌曲，将音乐创作从不可控的黑盒生成转变为白盒可控的作曲过程。在WildSongBench基准测试中，YuE2的SongBench平均得分达到6.9632，超越了Suno v5等主流商业产品，为开源音乐生成设立了新的性能参考。

技术定位与领域： YuE2属于人工智能生成内容在音频与音乐生成方向的前沿探索。它区别于传统的端到端音频合成方案，引入了可编辑的符号乐谱作为中间表征，实现了从盲盒抽卡式创作到显式可干预创作流程的范式转变。模型属于生成式AI、音乐信息检索与计算机听觉的交叉范畴，尤其聚焦于结构化音乐生成与可控创作。

研发背景： 该模型由香港科技大学与M-A-P团队联合开发。M-A-P团队此前在音乐音频预训练和生成领域积累深厚，曾先后推出多款知名音乐表示学习模型。团队长期致力于解决音乐生成中创作可控性不足、翻唱流程复杂、用户难以对生成结果进行细粒度修改等痛点，YuE2正是基于过往技术积累，在框架层面进行系统性重构的产物。

核心价值： YuE2解决了音乐生成过程缺乏可解释性与可控性的核心问题。通过将旋律与和弦以ABC乐谱形式显式呈现，用户（无论是人类还是Agent智能体）得以在渲染音频之前对作品进行读取、修改和复用。同时，该模型支持从零创作、零样本翻唱与Agent对话式编辑三种模式，且共用同一套权重，显著简化了音乐创作与二次创作的技术链路。

技术特点： 模型采用单一的混合Transformer主干，将自回归符号规划与流匹配声学渲染统一于同一checkpoint。其分阶段推理API将生成过程拆解为乐谱规划、语义生成、声学合成与解码四个环节，各环节中间产物全部落盘保留，为创作过程的介入与复现提供了开放的技术接口。

2. 主要功能

• 符号规划创作： 用户输入歌词与风格提示后，YuE2先生成包含旋律与和弦的可编辑ABC乐谱，此为显式的中间规划层；随后将该乐谱渲染为带人声与伴奏的48kHz完整歌曲。这一设计将创作过程拆解为规划与执行两个阶段，用户可以审阅甚至修改乐谱后再进行声学渲染，实现从灵感输入到成曲输出的全链路可控。

• 零样本翻唱： 用户将原曲录音通过配套的SheetSage2工具转录为乐谱后，可输入新歌词或指定目标风格，模型即能够以全新演绎方式重唱该曲目。翻唱过程无需针对具体歌曲进行微调适配，系统默认采用仅旋律模式，让伴奏部分自动适配新风格，在保持源曲辨识度的同时提供充足的再创作空间。

• Agent对话式编辑： YuE2将乐谱作为智能体可读、可写的中介接口，通过支持SKILL.md的Agent框架，用户即可用自然语言对话的方式围绕乐谱进行修改，涵盖和声走向调整、旋律优化、速度变化与曲式重组等维度，修改完成后一键触发重新渲染，实现对话式创作闭环。

• 音频转谱（SheetSage2）： 该工具用于将任意录音转录为可检视、可修改的ABC乐谱，可作为翻唱与编辑流程的入口环节。它打通了音频世界与符号乐谱世界之间的转换通道，为既有音乐资产的再利用提供了工程化路径。

• 音乐理解（MERT2）： 提供全曲级别的音乐表征能力，能够为转谱等下游任务提供高质量的音乐语义支撑。该表征模型在MARBLE基准的15项评测中拿下14项最优结果，体现了在音乐理解与描述任务上的技术纵深。

• 分阶段可干预推理API： 推理过程被显式拆解为plan()、generate_semantic()、synthesize()、decode()四个阶段，乐谱、语义token、声学latent及生成参数全部落盘保存。这一设计允许用户在任意阶段介入流程，例如导出乐谱编辑后重新渲染，或复用已有的规划结果仅更换解码器，兼顾了创作灵活性、工程调试便利性与结果可复现性。

3. 应用场景

• 个人音乐创作： 不具备作曲与编曲专业知识的普通用户，只需输入歌词和风格描述，即可获得一首包含人声与伴奏的完整歌曲。由于乐谱以ABC格式显式呈现，用户还能在生成后调整旋律走向、和弦配置与段落结构，将模糊的音乐灵感逐步塑造成完整的作品。

• 翻唱与二次创作： 创作者利用SheetSage2将已有歌曲录音转录为乐谱，随后通过cot="melody"模式将歌曲改编为爵士、摇滚、电子等新风格，或替换歌词制作多语言版本。该流程无需针对翻唱任务微调模型，大幅缩短了二创制作周期，适配短视频配乐、粉丝翻唱、广告改编等快节奏生产需求。

• 影视/游戏/广告配乐Demo： 制片团队可快速生成多版本候选配乐，包含带人声版本与纯伴奏版本，在项目早期以低成本完成风格预演。候选方案确定后再决定是否聘请真人音乐制作人精修，有效压缩了前期沟通与试错成本，提升了制片流程中音乐环节的迭代效率。

• 音乐教育与和声分析： 教师利用YuE2生成指定和弦走向、曲式结构与旋律特征的示例乐曲，学生可以对照ABC乐谱直观学习作曲技法与和声规则。由于乐谱与音频一一对应，学生还能修改谱面后重新渲染试听，实时感受和声变化对听感的影响，形成听得见、看得见、改得动的教学闭环。

4. 如何使用

1. 环境要求： 使用YuE2需要Linux操作系统、Python 3.12运行时，以及一块支持BF16精度运算的NVIDIA GPU。模型权重在首次运行时会自动从Hugging Face仓库下载，建议提前确认网络对Hugging Face域名有稳定访问能力。官方说明推荐单卡24GB显存即可离线运行。

2. 安装部署： 克隆GitHub仓库后创建Python虚拟环境，执行pip install .即可完成安装。依赖项包含深度学习框架、音频处理库与分词组件等，安装过程中建议使用带缓存的包管理器以加速依赖解析与下载。

3. 快速生成第一首歌： 运行python examples/generate.py --output outputs/first-song命令，可从内置示例歌词与风格参数生成一首完整歌曲。输出目录中会包含flac格式的音频文件、对应的ABC乐谱文件以及全部中间产物（语义token、声学latent等），方便用户查看生成链路的数据流转。

4. Python API调用： 通过YuE2Pipeline.from_pretrained("m-a-p/YuE2-3B")加载预训练管线，将风格描述与歌词文本传入即可触发推理。其中cot参数控制规划模式，"full"生成可编辑的完整乐谱（默认行为）、"melody"仅规划旋律走向、"off"则直接进行声学生成，三种模式对应不同的创作或编辑场景。

5. 翻唱一首歌： 先用SheetSage2将原曲录音转录为旋律ABC格式，再在调用生成时指定cot="melody"，并传入新歌词或目标风格提示。模型按仅旋律模式重新演绎，伴奏部分由模型根据新风格自动生成。

6. 编辑已有作品： 调用pipe.plan()导出已有歌曲的乐谱，人工或借助Agent修改ABC文件后，以--abc-file edited.abc --cot full参数重新运行渲染流程，即可生成新版歌曲。该流程适用于结构调整、和声替换和速度变化等精细化修改场景。

7. Agent skill用法： 将仓库中的skills/yue2-music/目录导入支持SKILL.md规范的Agent应用，便可以在对话中自然下达写歌、转谱、改谱和版本对比指令，由Agent自主编排工具调用来完成创作任务。

5. 优缺点分析

6. 同类工具对比

选型建议： 对于具备一定工程能力、追求生成结果可控性与数据私有化的开发团队与研究者，YuE2因其白盒乐谱机制、全链路开源生态及可本地部署的特性，在需要深度定制音乐生成流程的项目中具有明显优势。其翻唱与编辑能力尤其适合从事音乐二次创作工具研发、AI音乐教育产品开发或需要批量生成可编辑音乐素材的工作室。

而对于以快速产出为准、缺少深度学习基础设施配置经验的个人用户或内容创作者，Suno等商业服务凭借零部署成本、成熟的歌词清晰度和云端算力保障，在即时创作场景中仍更为便捷。企业若以商用版权保障为首要考量，则需综合评估YuE2的Apache 2.0协议与MusicGen的非商用限制、AIVA的商业授权体系之间的差异，按实际商业用途审慎选择。

7. 编辑总结

YuE2在音乐生成模型的架构设计层面引入符号规划中间层，将显式的ABC乐谱插入文本条件与波形输出之间。这一设计选择并非局部优化，而是对黑盒端到端生成范式的结构性挑战——乐谱既作为可被人与Agent读取修改的接口，又作为约束声学生成的结构骨架，使创作流程从抽样式生成转变为可引导、可校验、可回放的工程化流程。从WildSongBench的评测结果来看，这一架构调整并未牺牲生成质量，反而在SongBench平均得分上超越多个闭源商业产品，验证了符号表征约束与高质量声学渲染之间并非零和关系。

从实用价值维度审视，YuE2统一了创作、翻唱与编辑三种生产路径于同一权重，配合分阶段推理API的中间产物落盘机制，大幅降低了音乐资产复用与迭代的成本。Apache 2.0协议与配套全链路工具（SheetSage2、MERT2、WildSongBench）的开放，使该模型具备从学术研究到商用产品孵化的完整承接能力。需要正视的是，模型的歌词发音清晰度、文本-音乐语义对齐精度与商业产品尚存细微差距，Agent编辑生态对第三方框架的依赖也构成了工程化落地中的变量。

该模型的核心适用人群包括三类：从事音乐生成研究的学术机构与算法工程师，依托开源协议开发音乐创作工具或内容产品的创业团队，以及希望在本地数据环境中构建可定制音乐生成管线的企业技术部门。随着符号表示与神经生成相结合的路线被持续验证，YuE2所确立的规划-渲染分离范式有望成为音乐生成技术演进的重要方向之一，其在多轨交互、精细编辑与长结构控制等维度的后续迭代值得持续关注。

8. 常见问题FAQ

Q：YuE2生成一首完整的歌曲大约需要多长时间？
答：实际推理时间取决于GPU型号、显存带宽与生成音频的时长。官方未给出精确的实时率数据，但生成一段30至60秒的完整歌曲（含规划与声学渲染），在NVIDIA RTX 4090级别显卡上通常需要数十秒到数分钟不等。建议用户先以示例脚本跑通完整流程并输出计时信息，从而对自身硬件环境的吞吐能力建立量化认知。

Q：在Windows系统上能否运行YuE2？
答：官方要求系统环境为Linux，但通过Windows Subsystem for Linux 2环境，多数用户可成功运行。需注意GPU驱动需在Windows宿主中安装，WSL2内部需使用与驱动匹配的Linux版CUDA工具包。此外，Python 3.12与PyTorch在WSL2下的兼容性问题较少，但部分音频处理依赖（如soundfile等）可能需要额外编译安装。

Q：歌词发音错误率PER 9.79%意味着什么？
答：发音错误率衡量生成歌曲中歌词可被准确辨识的程度，数值越低代表歌词咬字越清晰。9.79%的PER意味着约每10个音节中有接近1个存在发音偏差，在歌词清晰度要求极高的场景（如歌词字幕同步）中可能造成轻微困扰。若用户对歌词清晰度有较高要求，可尝试更换规划模式（cot参数）或调整歌词文本长度，观察输出差异。

Q：翻唱功能是否涉及版权问题？
答：翻唱涉及的版权问题由使用场景与当地法律共同决定。YuE2本身提供的是技术能力，不包含对翻唱内容合法性的担保。个人非商业用途的翻唱改编在多数司法辖区享有一定合理使用空间，但商业化发布翻唱作品仍需获得原曲的机械许可或同步授权。建议用户在使用翻唱功能进行商业发布前，咨询专业法律意见并获取相应授权。

Q：Agent对话式编辑需要额外配置什么环境？
答：需要将仓库中的skills/yue2-music/技能包导入一个支持SKILL.md规范的Agent框架中。目前常见的支持平台包括部分开源Agent开发框架及商业Agent平台。Agent运行所在的机器需要能访问YuE2所在的运行环境（本地或远程服务器）。若Agent与YuE2不在同一台机器上，还需配置API转发或远程调用通道。

Q：能否在生成过程中控制音频的具体长度？
答：YuE2的生成时长主要由输入的歌词字数与乐谱结构共同决定。用户可以通过编辑ABC乐谱中的段落数量、反复记号与小节数来直接影响最终音频时长。修改乐谱后重新渲染即可获得不同长度的输出版本，这也是该模型相较于纯黑盒生成工具在长度控制方面的一项结构性优势。

Q：模型支持哪些语言的歌词输入？
答：官方评测包含英文歌词场景，且PER指标即基于英文歌词计算。考虑到模型训练语料的覆盖面，中文、日文、韩文等语种的歌词也有一定概率被支持，但生成质量与发音准确度可能不及英文。建议用户以实际测试结果为准，必要时可通过修改乐谱与发音标注来弥补发音偏差。

9. 项目地址

• 产品官网： https://map-yue2.github.io/
• GitHub仓库： https://github.com/multimodal-art-projection/YuE