SALMONN-2 – 清华等开源的通用音频大语言模型

1. SALMONN-2是什么

SALMONN-2是由清华大学、上海人工智能实验室与剑桥大学联合开源的通用音频大语言模型。该模型采用字节跳动SPEAR统一自监督音频编码器与多层特征融合适配器，以Qwen3-8B为文本基座，仅使用约1.8万小时监督数据便在MMAU-Pro、MMAR、MMSU三大综合基准上取得同规模开源模型领先表现。SALMONN-2首次在通用音频大语言模型中系统实现了声音事件检测、音频伪造检测、语音质量评估与多模态上下文语音识别等进阶能力，为音频理解领域提供了高效、统一的解决方案。

技术定位与领域： 属于多模态大语言模型中的音频理解方向，专注于通用音频理解，涵盖语音、环境声、音乐等。其独特之处在于采用统一自监督编码器替代传统双编码器，实现更均衡的跨域能力，同时通过多层特征融合适配器保留编码器各层的声学信息，在简化架构的前提下提升细粒度任务表现。

研发背景： 由清华大学、上海人工智能实验室、剑桥大学联合研发，基于字节跳动开源的SPEAR自监督音频编码器，继承并发展了SALMONN系列的架构思路。研究团队旨在降低对大规模监督数据的依赖，同时扩展音频分析任务的覆盖面，使模型在数据高效性上实现突破。

核心价值： 解决了以往音频大语言模型数据需求量大、任务覆盖窄的问题。仅用1.8万小时监督数据即可达到甚至超越使用数十万小时数据的模型，并首次系统支持声音事件检测、伪造检测、语音质量评估等专业任务，显著降低了应用门槛和部署成本。

技术特点： 采用单一SPEAR自监督编码器配合多层特征融合适配器，保留各层声学信息；时间戳以自然语言形式注入实现事件定位；多模态上下文学习提升生僻词识别。架构简洁且扩展性强，基座模型从8B扩展至30B-A3B后性能持续提升，验证了良好的scale-up潜力。

2. 主要功能

• 通用音频理解： 支持语音识别、音频描述、音乐理解、情绪识别、说话人验证等多种跨域任务。模型在单一框架内统一处理，无需为每个任务单独训练，极大简化了部署流程，同时保持各任务间的性能均衡。

• 声音事件检测（SED）： 能够定位并输出环境声事件的起止时间区间，例如狗叫、脚步声、警报声等。模型通过时间戳自然语言注入机制，在统一生成框架内完成时间定位，无需专用嵌入层，对于安防监控、内容审核等场景具有重要实用价值。

• 音频深度伪造检测： 判断语音是否为合成或编辑生成，并定位伪造片段的起止时间。这一能力在防范电信诈骗、验证音频真实性方面尤为关键，模型能够同时输出真伪判断和时间区间，提供可解释的检测结果。

• 语音质量评估（SQA）： 感知噪声、失真、清晰度等低层声学特征，给出质量评分与自然语言解释。可用于客服录音质检、录音棚素材筛选等自动化评估场景，帮助快速定位问题区间，减少人工审查成本。

• 多模态上下文语音识别（MICL）： 在语音识别过程中，同时接收文字偏置词表和这些词的参考发音音频作为上下文，显著提升生僻词、罕见人名的识别准确率。训练时引入干扰词随机丢弃策略，防止过偏置，使模型在声学证据支持下合理利用上下文线索。

• 时间戳事件定位： 模型通过将时间戳以自然语言形式（如 <2.0 seconds>）插入音频序列，与音频嵌入交错输入语言模型，在统一生成框架内完成事件的时间定位。这一机制使得SED和伪造检测能够输出精确的时间区间，无需额外的时间戳专用嵌入层。

3. 如何使用

1. 环境要求与前置条件： 推荐使用Linux操作系统，Python 3.10，CUDA 11.8及以上，NVIDIA GPU（显存建议16GB以上）。需要安装conda、git以及HuggingFace CLI（用于下载权重）。确保网络可以访问GitHub和HuggingFace。

2. 克隆代码仓库： 执行 git clone https://github.com/bytedance/SALMONN/tree/salmonn2 将代码下载到本地，进入仓库根目录。注意该分支为salmonn2，默认分支可能不同，需切换到对应分支。

3. 创建虚拟环境并安装依赖： 运行 conda create -n salmonn2 python=3.10 创建虚拟环境，激活后执行 pip install --upgrade pip setuptools wheel。然后在仓库根目录运行 pip install -r requirements.txt 安装运行时依赖，再执行 pip install -e . --no-deps 以开发模式安装SALMONN-2包。

4. 下载预训练权重： 通过HuggingFace CLI下载模型检查点：hf download marcoyang/SALMONN-2-8B --repo-type model --local-dir /path/to/salmonn-2-hf。也可使用 transformers 库的 from_pretrained 方法自动下载，但预先下载可避免运行时网络问题。

5. 加载模型并推理： 使用 AutoProcessor 和 AutoModelForCausalLM 加载本地权重，传入音频文件路径和指令文本，调用 model.generate() 获取音频理解结果。参考仓库中的 inference.py 示例代码，注意音频文件格式建议为16kHz单声道WAV。生成时可调整 max_new_tokens 等参数控制输出长度。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于需要专业音频分析（如声音事件检测、伪造检测、语音质量评估）的场景，SALMONN-2是当前唯一原生支持这些功能的开源模型，且数据高效性使其在学术研究和资源受限环境中更具吸引力。如果任务仅涉及通用语音识别且对数据规模敏感度较低，MOSS-Audio凭借百万小时训练数据可能在常规ASR任务上表现更稳定，但缺乏高级音频分析能力。对于中文语音理解需求，Qwen-Audio基于Qwen基座，中文能力较强，但同样不支持SED等专业任务，且具体性能数据未公开，适合对多任务要求不高的场景。

6. 编辑总结

SALMONN-2在音频大语言模型领域展现了显著的技术创新。其核心亮点在于数据高效性与任务扩展性：通过统一自监督编码器与多层特征融合适配器，仅用1.8万小时监督数据便超越了使用百万小时数据的模型，同时首次在通用框架中系统集成了声音事件检测、音频伪造检测、语音质量评估等专业能力，这标志着音频大模型从单一的语音识别向全面的音频理解迈进。在实用价值方面，SALMONN-2可直接应用于会议转录、内容审核、质量监控、档案检索等场景，其多模态上下文语音识别能力有效解决了生僻词识别难题，降低了实际部署中的错误率。适用人群涵盖音频处理研究人员、AI应用开发者以及需要自动化音频分析的企业。尽管目前文档和社区生态尚在起步，但其架构的简洁性和已验证的scale-up潜力（基座模型扩展后性能持续提升）预示着该模型具备良好的可扩展性，有望成为音频理解领域的基础性开源工具。对于追求数据效率和多任务覆盖的开发团队，SALMONN-2提供了一个值得深入探索的起点。

7. 应用场景

• 智能会议助手： 实时转录会议内容，结合参会人发音示例准确识别外籍人名与专业术语。MICL能力使得模型可以利用参考发音音频提升识别准确率，适用于跨国企业会议场景，减少人工校正成本。

• 音频内容审核： 自动检测直播或播客中的异常声音事件（如枪声、爆炸声），并识别深度伪造语音以防范诈骗。SED和伪造检测功能可实时输出事件时间戳，便于人工复核和自动告警，提升内容安全审核效率。

• 语音质量监控： 对客服通话、录音棚素材进行自动化质量评分，定位噪声与失真片段。SQA功能提供质量评分和自然语言解释，帮助快速定位问题区间，适用于大规模录音质检和音频素材筛选。

• 多媒体档案检索： 为历史音频、广播节目生成带时间戳的事件描述，实现基于内容的精准检索。模型可同时输出语音转录和环境事件描述，丰富元数据，使音频档案具备文本级可搜索性。

• 辅助听障设备： 将环境声事件（如门铃、警报）以文字与时间戳形式实时提示听障用户。SED功能可识别关键声音并转化为视觉信息，帮助听障人士感知周围环境，提升生活便利性。

8. 常见问题FAQ

Q：SALMONN-2需要什么样的硬件配置才能运行？
A：推荐使用NVIDIA A100或同等性能GPU，显存至少16GB。若使用消费级显卡（如RTX 3090/4090），可能可以运行但推理速度较慢。内存建议32GB以上，硬盘需预留至少20GB用于存储代码和权重。

Q：SALMONN-2支持中文音频理解吗？
A：支持。模型基座Qwen3-8B本身具有强大的中文能力，因此SALMONN-2能够处理中文语音识别、情绪识别等任务。声音事件检测等能力与语言无关，同样适用于中文环境。中文语音识别效果受限于基座和训练数据，但整体表现良好。

Q：如何在自己的数据上微调SALMONN-2？
A：目前官方开源代码主要提供推理流程，训练代码尚未完全公开。如需微调，可参考SALMONN系列之前的训练脚本，但需适配SPEAR编码器和MLF适配器。建议关注GitHub仓库更新，或联系研究团队获取训练代码。

Q：SALMONN-2与Whisper相比有什么优势？
A：Whisper专注于语音识别，而SALMONN-2是通用音频理解模型，不仅支持语音识别（ASR），还支持声音事件检测、音乐理解、伪造检测、语音质量评估等多任务。Whisper在纯语音识别上可能更成熟，但SALMONN-2在任务覆盖面和统一性上优势明显。

Q：SALMONN-2的音频编码器SPEAR与Whisper编码器有何不同？
A：SPEAR是自监督编码器，在大规模无标注数据上预训练，能够同时捕获语义、发音、音色、说话人及声学环境信息；Whisper是监督训练，主要针对语音识别优化。SPEAR的统一表征使得SALMONN-2在多种音频任务上表现更均衡，且数据需求更低。

Q：SALMONN-2是否可以商用？
A：项目在GitHub上开源，但具体许可证未明确标注。HuggingFace模型页面也未注明许可证。建议联系清华大学或字节跳动团队确认商业使用条款。在商用前需谨慎评估合规性。

9. 项目地址

• 项目主页（GitHub仓库）： https://github.com/bytedance/SALMONN/tree/salmonn2
• HuggingFace模型库： https://huggingface.co/marcoyang/SALMONN-2-8B
• 技术论文（arXiv）： https://arxiv.org/pdf/2607.17079