Xiaomi-CocktailASR-1：基于LLM端到端架构的目标说话人语音识别模型深度评测

1. Xiaomi-CocktailASR-1是什么

Xiaomi-CocktailASR-1是小米开源的目标说话人语音识别（Target Speaker ASR，TS-ASR）大模型，基于LLM端到端架构设计，以参考语音作为声纹提示，无需语音分离即可从多人混合语音中精准转录目标说话人的内容。模型在多说话人基准上达到SOTA水平，同时兼容单说话人场景，具备负样本拒识与思维链可解释推理能力，采用Apache 2.0协议开源。

技术定位与领域： 属于语音识别与说话人技术交叉领域，聚焦于多人混合语音环境下的目标说话人内容转录。该模型区别于传统语音识别系统，将声纹特征作为条件提示直接注入端到端识别流程，在技术路径上跳过了语音分离级联架构，属于TS-ASR方向的前沿探索。

研发背景： 由小米研究团队开发并开源，依托小米在智能硬件与语音交互领域的技术积累。模型基于Data2Vec2改进音频编码器与Qwen3-8B大语言模型骨干构建，代表了语音识别向大模型架构迁移的技术趋势。小米将研究成果以Apache 2.0协议开放，旨在推动多说话人场景语音识别技术的落地与迭代。

核心价值： 解决了传统「语音分离+识别」级联系统在多说话人场景下误差累积、鲁棒性不足的痛点，通过参考语音Prompt机制实现单一模型对目标说话人的直接转录。模型不仅支持多人场景，还兼容单说话人识别，在负样本拒识与推理可解释性方面均有实质性创新，显著提升了实际应用中的可用性。

技术特点： 以参考语音作为条件提示、免去语音分离模块的端到端架构；通过约百万小时数据配比的多阶段训练，融合目标提取、单场景兼容、负样本拒识与思维链推理四种能力；仅需一行代码即可调用。

2. 主要功能

• 目标说话人语音识别： 给定一段参考语音与多人混合音频，模型直接转录目标说话人的内容，全程无需语音分离。在AliMeeting Far场合适配集中WER低至20.63%，LibriMix 2mix场景WER仅4.11%，显著优于此前SOTA水平（AliMeeting Far 27.5%）。

• 单说话人场景兼容： 同一模型即可处理单说话人识别任务，无需按说话人数切换模型或额外配置。在LibriSpeech clean测试集上WER为1.73%，CommonVoice中文集WER为4.95%，性能媲美主流单说话人ASR系统。

• 负样本拒识： 当目标说话人不在音频中时，模型自动输出空文本而非误转录内容。在LibriSpeech负样本测试中拒识率达79.59%，整体拒识率区间为68%-80%，而Qwen3-ASR、StepAudio等模型的拒识率均为0%。

• 思维链可解释推理： CoT模式输出说话人数、性别、声纹相似度等推理过程后，再给出最终转录结果，兼顾可解释性与识别精度。实验表明CoT模式不仅提升推理透明度，还能小幅降低WER。

• 端到端统一架构： 基于Data2Vec2改进的0.6B音频编码器、轻量级线性Adapter，及Qwen3-8B大语言模型骨干组成。输入按「参考语音+1秒静音+混合语音」顺序拼接，编码器输出帧级特征经Adapter对齐到LLM隐空间。参考语音被视作条件Prompt，使编码器在特征提取阶段即自适应聚焦目标说话人，从源头避免级联系统误差累积。

• 多能力平衡的多阶段训练： 约40万小时多说话人数据训练目标提取，约60万小时同说话人参考-目标对防止单场景过度抑制，约1万小时错配参考负样本内化拒识能力，另有CoT数据教会模型先输出推理链再给出答案，四类数据共同作用实现多能力均衡。

• 开箱即用的低门槛使用： 一行代码调用即可完成推理，支持自动重采样、批量推理与正负样本Demo。pip安装依赖后，通过HuggingFace下载权重，调用model("target.wav", "ref_speaker.wav")即可返回转录结果。

3. 应用场景

• 智能会议定向转写： 在多人会议场景中，用户提供自己的参考语音后，模型只转录指定发言人的内容，自动过滤其他与会者的插话与讨论。AliMeeting Far场景WER 20.63%的表现，使其在处理真实会议室远场录音时可输出相对可靠的转写文本，满足会议纪要整理、发言追踪等需求。

• 语音助手机主指令识别： 手机、音箱、车载系统等语音助手设备可调用本模型识别机主语音，背景人声与电视声音等干扰环境下不被非机主指令触发。负样本拒识能力确保机主不在场时设备不产生误响应，提升交互体验与安全边界。

• 客服与质检录音分析： 从客服与客户的双人通话录音中精准提取指定一方的完整话术，用于合规质检、服务评估与话术优化。模型单说话人场景WER 1.73%的表现在录音质量较清晰时接近于通用ASR水准，满足质检场景对文字细节的精度要求。

• 智能家居语音控制： 电视喧闹、多人交谈的家庭环境中，准确识别遥控器持有者或指定家庭成员的语音指令，避免其他说话人引发误操作。参考语音可预先录入家庭成员声纹，日常使用仅需自然说话即可触发对应控制指令。

• 无障碍助听与记录设备： 面向听障人士或需要定向记录语音的用户，从嘈杂社交场合中提取特定说话人的语音内容并实时转为文字。模型支持批处理与CoT推理，可与助听设备或移动端应用集成，在多人对话场景中帮助用户专注「听清」想听的人。

4. 如何使用

1. 环境要求： 需要Linux或Windows操作系统，配备NVIDIA GPU（建议显存不低于16GB），Python版本需3.8及以上。模型以bfloat16精度加载，CPU推理速度较慢，不推荐生产环境使用。

2. 安装依赖： 执行pip install torch torchaudio transformers soundfile安装所需环境。其中transformers版本建议不低于4.40，以确保与模型代码的兼容性。

3. 下载模型： 从HuggingFace模型库（Ease3/Xiaomi-CocktailASR-1）下载全部模型权重文件，包括config、tokenizer及模型权重。模型总大小约8.6B参数，下载时需确保网络稳定。

4. 加载模型： 通过以下Python代码加载模型：

   from transformers import AutoModel
   model = AutoModel.from_pretrained(
       "Ease3/Xiaomi-CocktailASR-1",
       trust_remote_code=True,
       torch_dtype="bfloat16"
   ).cuda().eval()
   

   trust_remote_code=True参数必不可少，模型依赖远程代码执行。

5. 准备音频： 准备一段16k单声道参考语音（记录目标说话人声纹），以及一段待识别的单人或多人数音频。非16k采样率的音频会被自动重采样，无需手动处理。

6. 单条推理： 直接调用model("target.wav", "ref_speaker.wav")即可返回目标说话人的转录文本。对于负样本输入，模型自动输出空文本，无需额外参数或后处理。

7. 思维链推理： 追加cot=True参数调用model("target.wav", "ref_speaker.wav", cot=True)，模型会在thinking标签中输出推理过程（说话人数量、性别、声纹相似度等），在<answer>标签中输出最终转录结果。

8. 批量推理： 将数据整理为5列TSV格式（utt_id, wav, text, ref_wav, ref_id），运行tools/test_batch_scp.py脚本并指定模型路径、输入TSV文件路径和输出文件路径，即可完成批量转录，便于在测试集上评估模型性能。

5. 优缺点分析

6. 同类工具对比

选型建议： 对于智能会议转写、客服质检等多人混合语音场景，Xiaomi-CocktailASR-1是目前开源方案中目标说话人识别精度最高的选择，其负样本拒识能力在语音助手类产品中具有差异化价值。若应用以单说话人通用语音识别为主要需求且涉及多语言，Qwen3-ASR在语言覆盖面上有优势，但需注意其在多人场景下性能明显不足。StepAudio作为通用音频多模态模型，在需要同时处理语音、音频事件等多样化任务时更具灵活性，但在TS-ASR专项能力上目前缺乏公开数据支撑，适合作为备选方案进行针对性测试。

7. 编辑总结

Xiaomi-CocktailASR-1的技术创新性体现在三个方面：其一，以Data2Vec2自监督掩码预测机制在单一网络内融合语义与说话人信息，参考语音作为条件Prompt直接引导编码器聚焦目标说话人，在架构层面规避了传统级联系统误差累积的结构性缺陷；其二，约百万小时数据的多阶段配比训练策略，将目标提取、单场景兼容、负样本拒识与思维链推理四种能力统一于单一模型，这种数据层面的能力编排思路值得行业借鉴；其三，负样本拒识与CoT可解释推理的引入，使模型不仅具备高精度识别能力，还具备输出可靠性保障，对实际落地场景的误触发控制具有重要意义。

从实用价值来看，模型在AliMeeting Far场景将WER从27.5%降至20.63%，LibriMix 2mix场景WER 4.11%的表现，验证了端到端TS-ASR路线的技术可行性，同时Apache 2.0开源协议大幅降低了行业应用门槛。适用人群覆盖三个层面：语音技术研究者可将该模型作为TS-ASR方向的强基线；产品开发者可利用其目标说话人识别与负样本拒识能力构建差异化语音交互体验；需要处理多人录音的行业用户可借助批量推理脚本快速完成转写任务。

模型的进一步发展潜力在于多语言能力的拓展、推理效率的优化以及在端侧设备上的轻量化适配。当前8.6B参数规模对部署环境有一定要求，未来通过蒸馏或量化策略有望向更多场景渗透。整体而言，Xiaomi-CocktailASR-1为语音识别领域提供了一个值得深入研究的开源范例，其技术路线与工程实现均具有较高的参考价值。

8. 常见问题FAQ

Q：Xiaomi-CocktailASR-1与传统语音分离+识别方案有何本质区别？
A：传统方案先通过语音分离模型将混合音频中的目标说话人语音分离出来，再送入ASR模型识别，分离环节的误差会传递累积到识别结果。本模型将参考语音作为条件Prompt直接输入编码器，在特征提取阶段即自适应聚焦目标说话人、抑制干扰语音，以端到端方式一步生成转录文本，从架构上规避了级联系统的误差累积问题。

Q：模型对参考语音有什么要求？参考语音质量差会影响识别效果吗？
A：官方推荐使用16k单声道、录制清晰的参考语音，时长建议在几秒以上。参考语音的质量直接影响声纹特征的提取精度，如果参考语音包含明显噪声、混响或是截断不完整，编码器可能无法准确建模目标说话人的声学特征，进而影响识别准确率。非16k采样率音频会自动重采样，但这无法弥补信噪比不足带来的负面影响。

Q：负样本拒识机制是如何实现的？需要额外配置阈值吗？
A：模型通过对约1万小时错配参考的负样本数据进行训练，内化了「目标缺失时输出空文本」的行为模式，推理时无需设置额外阈值。当输入音频中不存在目标说话人时，模型自然输出空文本，而非误转录其他说话人的内容。实验数据显示拒识率达到68%-80%，这一能力在语音助手等场景中能有效降低误触发率。

Q：CoT模式与标准模式有什么区别？如何选择？
A：标准模式使用统一Prompt同时覆盖单人识别、多人目标识别与负样本拒识三类任务，适合追求识别速度的场景。CoT模式以独立Prompt触发thinking推理标签，模型先输出说话人数量、性别、声纹相似度等推理过程，再在<answer>标签中给出最终转录。CoT模式在提升可解释性的同时还能小幅降低WER，但推理耗时略有增加，适合对结果可解释性有要求或需要错误分析的场景。

Q：是否支持中文识别？多语言表现如何？
A：模型在CommonVoice中文测试集上单说话人WER为4.95%，中文识别能力基本可用。多说话人基准评测以中英文数据集（AliMeeting为中文会议数据集，LibriMix为英文混合语音数据集）为主。其他语种的支持情况官方尚未公布详细评测数据，多语言泛化能力仍需开发者根据自身语种需求进行实测评估。

Q：模型可以商用吗？有没有许可证限制？
A：Xiaomi-CocktailASR-1采用Apache 2.0开源协议，代码与模型权重均完全开放，允许商业使用、自由修改与再分发，仅需保留原始版权声明与许可证文本。这一协议对行业应用友好，可在遵守协议条款的前提下直接将模型集成到商业产品中。

9. 项目地址

• GitHub仓库： https://github.com/xiaomi-research/xiaomi-cocktailasr-1
• HuggingFace模型库： https://huggingface.co/Ease3/Xiaomi-CocktailASR-1
• arXiv技术论文： https://arxiv.org/pdf/2609.11274