MuScriptor – Kyutai 联合 Mirelo 开源的多乐器音乐转录模型

1. MuScriptor是什么

MuScriptor 是 Kyutai 与 Mirelo 联合推出的开源多乐器音乐转录模型，能够将真实世界中多种流派的音乐音频自动转录为标准 MIDI 格式。作为首个在涵盖 17 万首歌曲的大规模真实数据集上训练的同类模型，它采用纯解码器 Transformer 架构，提供 60M 至 1.4B 四种参数规模，并支持乐器条件控制，代码以 MIT 协议开源。

技术定位与领域： MuScriptor 属于音频信号处理与音乐信息检索（MIR）领域，专注于多乐器自动转录（Automatic Music Transcription, AMT）。与以往依赖合成数据或有限真实录音的模型不同，它直接面向复杂混音环境下的真实音乐，填补了在真实多乐器场景下高精度转录的技术空白。

研发背景： 该模型由法国非营利 AI 研究实验室 Kyutai 与音乐技术公司 Mirelo 联合开发。研发动机源于现有 AMT 模型在真实录音中泛化能力不足的问题——大多数模型仅在合成 MIDI 数据上训练，遇到真实混音时错误率急剧上升。Kyutai 在生成式音频建模方面的积累与 Mirelo 在音乐信号处理领域的经验，为这一突破提供了技术基础。

核心价值： MuScriptor 的核心价值在于显著提升了真实世界多乐器转录的准确性。通过在 17 万首真实音乐上微调，并采用强化学习后训练对齐高质量输出，其在复杂混音场景下的 Multi F1 分数达到约 41.6，远超此前基于合成数据的模型。同时，乐器条件控制功能允许用户指定目标乐器，大幅增强了输出的可控性和一致性。

技术特点： 模型采用纯解码器 Transformer，以 5 秒音频切片为输入，通过自回归方式预测 MIDI-like token 序列，实现端到端转录。三阶段训练策略（合成预训练→真实微调→强化学习后训练）确保了模型既有大规模数据的基础知识，又能适应真实音频的多样性。四种参数规模兼顾了边缘设备与高精度场景的需求。

2. 主要功能

• 多乐器音频转录： 能够将包含钢琴、吉他、鼓、贝斯等 36 类乐器的真实音乐音频自动转换为标准 MIDI 格式。模型对多乐器混音场景进行了专门优化，可同时识别并分离不同乐器的音符，输出结构化符号表示。

• 多流派音乐支持： 覆盖流行、古典、摇滚、重金属等多种音乐流派。训练数据中包含了丰富的真实录音，使模型能够适应不同风格中的音色、节奏和混音特点，在复杂声学环境下保持稳定的转录质量。

• 乐器条件控制： 用户可通过前缀嵌入指定需要转录的目标乐器集合，实现定制化输出。该机制不仅能精简 MIDI 结果（例如只提取钢琴轨），还能利用 classifier-free guidance 稳定跨音频片段的乐器分配一致性，避免片段间乐器识别波动。

• 多规格模型选择： 提供 60M、103M、307M 及 1.4B 四种参数规模，用户可根据计算资源和精度需求灵活选择。小模型适合边缘设备或快速推理，大模型在复杂音频上表现更优，兼顾了部署灵活性与性能。

• 端到端自动处理： 模型以 5 秒音频切片为单位输入，自动完成分帧、mel-spectrogram 特征提取、音符检测与 MIDI 生成全流程，无需人工干预。用户只需输入音频文件，即可直接获得标准 MIDI 输出，降低了使用门槛。

• 强化学习后训练优化： 在预训练和微调之后，模型通过 GRPO 风格的强化学习在 300 首高质量标注数据上进行后训练，对齐高质量输出。该步骤显著提升了音符 onset、frame 和 offset 级别的 F1 分数，减少了漏检和误检，使转录结果更贴近人工标注水平。

3. 如何使用

1. 环境准备： 克隆 GitHub 仓库（git clone （链接待官方发布后更新） Python 3.8 及以上版本，PyTorch 2.0 以上，以及 CUDA 11.7 以上（GPU 推理）。CPU 推理也可行但速度较慢。

2. 下载模型权重： 从 HuggingFace 模型库（（链接待官方发布后更新） 103M、307M 和 1.4B 三个版本，60M 版本尚未发布。权重采用 CC BY-NC 4.0 许可，可免费用于非商业用途。

3. 加载模型与配置： 使用仓库提供的推理脚本初始化模型。如果启用乐器条件控制，需在配置文件中指定目标乐器列表（如“piano,guitar,bass”）。示例命令：

   python inference.py --model_path ./weights/307M.pt --audio input.wav --instruments piano,guitar
   

4. 输入音频并获取 MIDI： 将待转录的音频文件（支持 WAV、MP3、FLAC 等常见格式）传入推理脚本。模型自动将音频切分为 5 秒片段进行处理，最终合并输出一个完整的标准 MIDI 文件。输出文件可直接导入 DAW（如 Ableton Live、FL Studio）或乐谱软件（如 MuseScore）进行后续编辑。

5. 注意事项与最佳实践： 对于超过 5 分钟的音频，建议分段处理以避免内存溢出；乐器条件控制功能可显著提升跨片段一致性，推荐在需要稳定乐器分配时启用；1.4B 模型需要至少 8GB GPU 显存，307M 模型可在 4GB 显存上运行；若使用 CPU 推理，请确保系统内存充足（建议 16GB 以上）。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于追求真实场景转录精度的用户，MuScriptor 是目前开源方案中的首选，尤其在多乐器混音和跨片段一致性方面优势明显。如果计算资源有限或仅需钢琴转录，可以考虑 Google MT3 的轻量版本，但其真实音频表现较弱。YourMT3+ 在架构改进上有一定参考价值，但整体性能已被 MuScriptor 超越，且开源程度较低。

若用户需要力度信息或更精细的音符控制，目前 MuScriptor 尚不支持，可等待后续版本更新，或结合其他后处理工具进行补充。对于学术研究用途，MuScriptor 的开源权重和完整训练配方提供了极佳的基线，便于进一步改进和对比实验。

6. 编辑总结

MuScriptor 在多乐器自动转录领域实现了重要突破，其技术创新主要体现在三个层面：一是采用大规模真实音乐数据（17 万首）进行微调，从根本上解决了合成数据与真实场景之间的域偏移问题；二是引入强化学习后训练阶段，通过 GRPO 风格的对齐策略，使模型输出在音符级指标上接近人工标注质量；三是乐器条件控制机制，不仅提升了用户可控性，还通过 classifier-free guidance 稳定了跨片段的一致性，解决了此前模型在长音频中乐器分配不稳定的痛点。

从实用价值看，MuScriptor 显著降低了音乐转录的门槛。音乐制作人、教育机构和研究者无需昂贵的专业设备或人工扒谱，即可将现有录音快速转化为可编辑的 MIDI 数据。四种参数规模的设计也使其能够适应从移动设备到服务器的不同部署场景，MIT 协议的开源代码进一步促进了二次开发和集成。

适用人群主要包括：音乐制作人（快速获取 MIDI 轨道进行编曲）、音乐教育工作者（自动生成乐谱用于教学）、音乐信息检索研究者（获取高质量符号化输入）、以及生成式音乐模型开发者（利用 MuScriptor 产出大规模训练数据）。对于消费级用户，推荐使用 307M 模型以平衡速度与精度。

未来发展潜力方面，MuScriptor 的架构设计具备良好的扩展性。后续若能加入力度信息支持、提升推理速度、并进一步扩充训练数据的流派多样性，有望成为多乐器转录领域的标准工具。同时，其纯解码器架构也为端到端音乐生成与转录的联合建模提供了新的可能。

7. 应用场景

• 音乐制作辅助： 制作人可将无 MIDI 的现有录音（如老唱片、现场演奏录音）快速转换为可编辑的 MIDI 轨道，用于重新编曲、混音或采样。例如，提取一首流行歌曲中的钢琴和贝斯部分，导入 DAW 后替换音色或调整节奏。

• 乐谱自动生成： 音乐教育机构和出版方可将教学录音或演奏音频自动转换为乐谱，大幅降低人工扒谱成本。教师可快速生成练习曲的乐谱版本，学生也可将即兴演奏转化为可视化的乐谱进行分析。

• 音乐信息检索： 为和弦识别、调性分析、风格分类等下游任务提供高质量的符号化输入。研究者可利用 MuScriptor 将大规模音频库转录为 MIDI，进而训练更精准的音乐分析模型，提升 MIR 系统的整体性能。

• 生成式音乐建模： 为音乐生成模型提供大规模、高质量的 MIDI 训练数据。MuScriptor 的准确转录能力使其成为数据标注工具，可用于构建多乐器、多风格的符号音乐数据集，推动符号音乐生成研究的发展。

• 音乐考古与存档： 将历史录音、现场演出等非结构化音频转化为结构化 MIDI 数据，便于数字化保存与分析。档案馆和音乐学家可借此批量处理珍贵录音，提取其中的音乐结构信息，为音乐史研究提供数据支持。

8. 常见问题FAQ

Q：MuScriptor 支持哪些乐器类型？
A：模型支持 36 类常见乐器，包括钢琴、吉他、贝斯、鼓、小提琴、大提琴、萨克斯、小号、长号、单簧管、长笛等。完整的乐器列表可在项目文档中查看。用户可通过乐器条件控制功能指定需要转录的乐器集合。

Q：运行 MuScriptor 需要什么样的硬件配置？
A：推荐使用 NVIDIA GPU，显存至少 4GB（307M 模型）或 8GB（1.4B 模型）。CPU 推理也可行，但速度较慢，建议 16GB 以上系统内存。60M 模型（待发布）可在移动设备或嵌入式系统上运行。

Q：如何启用乐器条件控制？
A：在推理时通过 --instruments 参数指定目标乐器，例如 --instruments piano,guitar,bass。模型将只输出这些乐器的 MIDI 轨道，并利用 classifier-free guidance 确保跨片段的乐器分配一致性。

Q：MuScriptor 的输出 MIDI 质量如何？
A：在真实音频场景下，MuScriptor 的 Multi F1 分数约为 41.6，显著优于此前开源模型。音符 onset 和 offset 的检测准确率较高，但当前版本不支持力度信息，输出力度为固定值。对于大多数编曲和教学需求，其质量已经足够实用。

Q：MuScriptor 与 Google MT3 相比有何优势？
A：主要优势在于真实场景泛化能力。MT3 在合成数据上训练，遇到真实混音时错误率较高；MuScriptor 在 17 万首真实音乐上微调，并经过强化学习后训练，在真实音频上的 F1 分数领先约 10-15 个百分点。此外，MuScriptor 支持乐器条件控制，而 MT3 不支持。

Q：模型是否支持实时转录？
A：目前不支持实时处理。模型以 5 秒音频切片为单位进行推理，1.4B 模型在 A100 GPU 上处理 5 秒音频约需 1-2 秒，消费级显卡耗时更长。307M 模型可实现接近实时的速度（5 秒音频约 0.5 秒），适合离线批量处理。

Q：训练数据中包含哪些音乐流派？
A：训练集覆盖流行、古典、摇滚、重金属、爵士、电子、民谣等多种流派。17 万首真实音乐来自公开数据集和授权录音，确保多样性。但部分小众流派（如世界音乐、实验音乐）占比可能较低，转录效果可能受影响。

9. 项目地址

• GitHub 仓库：https://github.com/muscriptor/muscriptor
• HuggingFace 模型库：https://huggingface.co/MuScriptor
• arXiv 技术论文：https://arxiv.org/pdf/2607.08168v1