AI工具导航

语言 / Language

返回模型列表

Nemotron 3.5 Transcribe – 英伟达开源的语音大模型

AI科技编辑部
RSS 订阅
#语音AI#大语言模型#开源
Nemotron 3.5 Transcribe – 英伟达开源的语音大模型 官方截图
（图片来源官方截图）

导读摘要：

Nemotron 3.5 Transcribe 是英伟达推出的开源语音大模型，采用语音编码器加 MoE 架构，约 43 亿活跃参数，支持 40 种语言，可处理最长 1 小时、最多 8 人讲话的录音，覆盖逐字转写、说话人区分、语音翻译等功能。该模型通过语音增强语言模型（SALM）架构将语音编码器与冻结的说话人分离模型接入大语言模型，实现了带说话人标注的转写能力。Nemotron 3.5 Transc...

1. Nemotron 3.5 Transcribe是什么

Nemotron 3.5 Transcribe 是英伟达推出的开源语音大模型，采用语音编码器加 MoE 架构，约 43 亿活跃参数，支持 40 种语言，可处理最长 1 小时、最多 8 人讲话的录音，覆盖逐字转写、说话人区分、语音翻译等功能。该模型通过语音增强语言模型（SALM）架构将语音编码器与冻结的说话人分离模型接入大语言模型，实现了带说话人标注的转写能力。Nemotron 3.5 Transcribe 支持用自然语言指令定制输出格式，通过微调适配专业领域，商业使用免费。

nemotron-3-5-transcribe 官网截图
（图片来源官方截图）

技术定位与领域： 该模型属于语音识别与自然语言处理交叉领域，面向会议纪要、访谈归档、课堂回放、多语言本地化等深度离线转写场景。其独特定位在于将说话人区分与转写任务统一到单一 LLM 架构中，突破了传统级联系统的性能瓶颈，成为开放权重模型中的技术标杆。

研发背景： 英伟达依托其在 GPU 计算和 AI 基础设施领域的深厚积累，将 Nemotron 系列语言模型技术延伸到语音领域。该模型的开发充分利用了英伟达在 NeMo 工具包、TensorRT-LLM 推理框架以及 RTX GPU 硬件生态上的系统性优势，体现了从底层硬件到上层模型的全栈研发能力。

核心价值： 该模型解决了传统语音转写系统在说话人区分、长音频处理、专业领域适配上的三大痛点。其指令化输出能力让用户无需重新训练即可切换逐字稿、整理稿、翻译等不同输出形式，大幅降低了部署与使用的复杂度。英伟达开放权重并允许商业使用，为企业和开发者提供了可自主部署的专业级语音解决方案。

技术特点： 模型总参数量约 340 亿，采用混合 Mamba-Transformer MoE 架构，每次推理仅激活约 43 亿参数，在保证转写精度的同时显著降低计算开销。原生 MTP 投机解码结合 CTC 时间戳适配器，实现了高吞吐推理与词级对齐的兼顾，在单张 RTX PRO 6000 Blackwell GPU 上即可达到每秒转写 2238 秒音频的处理能力。

2. 主要功能

  • 多语言转写： 支持 40 种语言的语音转写，模型在训练中覆盖了全球主流语种，能够自动识别口语中的语言种类并输出对应文字的转写结果。不同于传统 ASR 系统需要预先指定语言，该模型在混合语言的会议场景中也能自动切换识别，降低使用门槛。

  • 说话人区分： 可分辨最多 8 位说话人，为每句话标注归属，在重叠多人语音场景下首次超越专用级联系统。这一能力的实现得益于冻结的 Nemotron 3 说话人分离模型提供的活动信号被注入 ASR 编码器表征，使模型在单一 LLM 架构下完成带说话人标注的转写。

  • 长音频处理： 单次可处理最长约 1 小时的录音，突破了传统 ASR 模型在长音频上的上下文窗口限制。对于完整的会议记录、讲座内容和长篇访谈，用户无需分段切分上传，模型可直接端到端处理完整录音，减少拼接误差。

  • 指令化转写： 用自然语言指定输出格式，可灵活切换逐字稿、书面化整理、清理口头禅、术语统一等不同形式，无需重新训练或配置多个模型。例如用户只需输入"保留逐字原话并标注说话人"或"清理口头禅并翻译为英文"，模型即可理解并执行。

  • 语音翻译： 可在 31 种语言与英语之间互译，将非英语录音直接翻译输出为英文稿。该功能面向跨国会议、国际访谈和视频字幕制作等场景，配合指令化输出能力，用户可在一次推理中同时获得原文转写和翻译结果。

  • 词级时间戳： 返回每个词对应的音频时间位置，便于回听和检索。解码后通过轻量 CTC 适配器将生成的文本与音频对齐，为长音频和重度重叠对话产出带说话人标注的词级时间戳，不增加主模型负担。

  • 领域微调： 基于 NeMo Speech 工具包，可在单 GPU 上用少量数据快速适配专业场景。实测微调时间约 0.5 至 2.3 小时，即可让模型适应用户自有口音、行业术语和特定输出格式，满足医疗、法律、教育等垂直领域的定制需求。

3. 应用场景

  • 会议纪要与决策提取： 在商业会议场景中，模型自动区分发言人、保留讨论原话，并按指令提炼会议结论和待办事项。结合词级时间戳，与会者可以直接跳转到特定观点的讨论时刻，快速回顾关键决策过程。

  • 媒体访谈与新闻采编： 记者和编辑可使用该模型逐字保留受访者原话并标注说话人，确保引述准确无误。指令化输出支持按需清理口头禅或无意义的填充词，输出可直接用于发布的整理稿，减少人工编辑时间。

  • 课堂与培训回放： 教育机构将课程录音交给模型处理，生成带词级时间戳的转录稿，让学生直接搜索关键词并跳转到老师讲该知识点的时刻。这一能力使长视频课程的检索效率大为提升，支撑在线教育的精细化学习体验。

  • 医疗与专业领域记录： 结合术语列表和领域微调，将医患对话按规范格式转写为病历文本。实测给定术语列表后，命名实体错误率可降低 6 倍，专业词不再靠猜，为医疗、法律等高精度要求场景提供了可靠的自动化记录方案。

  • 多语言内容本地化： 将 40 种语言的录音直接翻译输出为英文稿，用于跨国会议、访谈或视频字幕制作。31 种语言与英语之间的互译能力让国际团队无需依赖第三方翻译服务，在转录的同时完成本地化处理。

4. 如何使用

  1. 硬件准备： BF16 版需约 80GB 显存，适合 NVIDIA A100 或更高配置的专业 GPU。可选 FP8、NVFP4 或 GGUF 量化版本降低显存门槛，其中 GGUF 版本可在消费级显卡上本地运行。

  2. 获取模型： 在 Hugging Face 或魔搭搜索 NVIDIA-Nemotron-3.5-Transcribe-30B-A4B，按 OpenMDW-1.1 许可下载权重。该许可允许商业使用，但需注意遵守模型卡中的使用条款说明。

  3. 安装环境： 部署方式三选一。选择 Nemotron Transcribe NIM（英伟达官方容器），可获得最优化的性能与便捷管理；选择 vLLM 框架，可支持 MTP 投机解码加速；选择 NeMo-Speech.cpp，适合 GGUF 格式的本地轻量运行。

  4. 准备音频： 上传最长 1 小时的录音文件，格式按所选框架要求进行转换。建议使用常见格式如 WAV、MP3、FLAC 等，采样率对齐模型训练时使用的标准。

  5. 编写提示词： 用自然语言说明任务，例如"保留逐字原话并标注说话人""清理口头禅并翻译为英文"等。提示词的清晰度直接影响输出格式的准确性，建议明确说明是否保留口头禅、是否翻译、是否需要说话人标签。

  6. 运行推理： 调用接口提交音频与提示词，模型返回转写文本，必要时附带说话人标签和词级时间戳。对于长音频，建议使用 NIM 或 vLLM 部署以获得稳定的推理性能。

  7. 在线快速体验： 不想部署的用户可先使用 Hugging Face 上的 nvidia/nemotron-transcribe 体验空间在线试用，验证效果后再决定是否本地部署。

  8. 领域微调（可选）： 使用 NeMo Speech 工具包准备标注数据，单 GPU 约 0.5 至 2.3 小时即可适配自有口音、术语和格式。微调数据量无需很大，少量高质量标注样本即可获得明显的效果提升。

5. 优缺点分析

优点
指令化输出： 用一句自然语言便能切换逐字稿、整理稿、翻译等不同形式，无需重新训练或配置多个模型，使用灵活性在开放权重模型中较为突出。
转写精度领先： 英语 Open ASR 榜单平均 WER 仅 4.71%，多语言榜单 4.62%，均为开放权重模型第一，精度表现可与封闭商业 API 竞争。
说话人区分能力强： 在重叠多人语音的标注转写任务上首次超越专用级联系统，且支持最长 1 小时、8 人场景，满足复杂会议和访谈需求。
上下文纠错能力强： 给定术语、人名等实体列表后，命名实体错误率可降低 6 倍，显著提升专业领域词汇的转写准确率。

6. 同类工具对比

对比维度 NVIDIA Nemotron 3.5 Transcribe OpenAI GPT-Realtime-Whisper OpenAI Whisper Large-v3
核心架构 SALM：语音编码器 + 冻结分离模型 + 30B-A3B Mamba-Transformer MoE LLM（活跃约 4.3B 参数） OpenAI 未公开，属 Whisper 家族流式版本 Encoder-Decoder Transformer，约 1.55B 参数
处理方式 离线批处理，单次最长 1 小时录音，支持 8 人说话人区分 流式实时转写，边说边出字幕 离线批处理，需按 30 秒窗口切分音频
语言支持 转写 40 种，翻译 31 种与英语互译 未完整公开（Whisper 家族约 99 种） 转写 99 种语言，翻译可输出英语
说话人区分 原生集成，重叠语音表现超越专用级联系统 未作为核心能力宣传 不支持，需外接说话人分离模型
指令化输出 自然语言自由定制逐字稿/整理稿/翻译格式 功能聚焦实时字幕，无自由格式指令 不支持，输出格式固定
词级时间戳 带说话人标注（CTC 对齐） 流式场景下输出分段文本 支持词级时间戳（需开启 word_timestamps）
开源协议 OpenMDW-1.1，开放权重，商业使用免费 闭源，仅云 API MIT 开源，完全开放
部署方式 自部署（NIM/vLLM/GGUF），也可在线体验 云端 API，仅按量付费调用 本地自部署，支持 CPU/GPU

选型建议： 对于需要长时间录音、多人会议转写且重视说话人区分的专业场景，Nemotron 3.5 Transcribe 是开放权重模型中综合能力较强的选择，特别适合法律、医疗、媒体等需要精确归属和术语定制的高要求场景。其指令化输出和领域微调能力带来的长期价值，可以弥补部署初期硬件投入较高的不足。

对于需要流式实时字幕、直播转写等低延迟场景，OpenAI GPT-Realtime-Whisper 的流式能力更契合，但闭源 API 的成本和云端依赖需纳入考量。对中文场景特别是国内部署需求，阿里云 Paraformer 在中文转写精度和中文生态上有明显优势。对于预算有限的个人开发者和轻量应用，Whisper Large-v3 凭借 MIT 协议和庞大的社区支持，仍是上手成本最低的选择。

7. 编辑总结

Nemotron 3.5 Transcribe 代表了语音转写技术从级联架构向统一模型演进的重要方向。英伟达通过 SALM 架构将语音编码器、说话人分离模型与大语言模型有机结合，在单一模型中实现了转写、说话人标注、翻译的协同处理。这种架构上的创新不仅简化了部署链路，还让模型能够借助 LLM 的上下文理解能力进行术语纠错和格式定制，这是传统级联系统难以实现的。从实际效果看，英语 Open ASR 榜单 4.71% 的 WER 和多语言榜单 4.62% 的成绩已经达到开放权重模型的领先水平，而在重叠语音场景下超越专用级联系统的表现更是体现了架构创新的实际价值。

从实用角度评估，该模型最突出的优势在于降低了下游任务的门槛。指令化输出让非技术用户也能灵活控制转写格式，领域微调能力则让企业以较低成本获得适配自身业务的专用模型。OpenMDW-1.1 许可允许商业使用，为需要私有化部署的企业提供了合规路径。需要清醒认识到的是，硬件要求偏高和流式实时能力缺失仍是其走向更广泛应用的制约因素。当前模型定位在离线深度处理场景，面向会议整理、访谈归档、课程回放、专业领域记录等场景需求十分契合。对于拥有专业 GPU 资源的团队和有定制化需求的垂直行业用户，该模型是值得纳入技术选型对比的开放权重方案。随着 NeMo 生态的持续完善和社区贡献的增加，其在语音领域的应用边界有望进一步扩展。

8. 常见问题FAQ

Q：NVIDIA-Nemotron-3.5-Transcribe 的总参数量和激活参数量各是多少？
A：模型总参数量约 340 亿，采用混合 Mamba-Transformer MoE 架构。由于 MoE 设计，每次推理只激活约 43 亿参数。这种稀疏激活机制让模型在较小计算开销下获得大模型的语义理解能力，实现在单张 RTX PRO 6000 Blackwell GPU 上每秒转写 2238 秒音频的高吞吐。

Q：模型支持哪些语言？翻译能力如何？
A：转写支持 40 种语言，模型能够识别口语中的语言种类并可混合识别。语音翻译支持 31 种语言与英语之间的互译。需要注意的是，非英语语言之间的直接翻译尚不支持，例如中文直接翻译为日文目前无法实现，需要先转为英文再二次翻译。

Q：部署需要什么样的硬件配置？
A：BF16 版本需要约 80GB 显存，推荐使用 NVIDIA A100（80GB）或更高配置的 GPU。为降低使用门槛，官方提供了 FP8、NVFP4 量化版本以及 GGUF 版本，其中 GGUF 版本可在消费级显卡上运行，但精度会有一定损失。实际部署时建议根据音频长度和吞吐需求选择合适的版本。

Q：如何用自然语言指令控制输出格式？
A：直接在提示词中说明需求即可。例如输入"保留逐字原话并标注说话人"可获得逐字稿并带说话人标签；输入"清理口头禅并翻译为英文"会输出去除口头禅的英文翻译稿；输入"按会议纪要格式整理，包含结论和待办事项"可获得结构化的会议纪要输出。无需重新训练或更换模型。

Q：模型是否支持商业使用？
A：支持。模型按 OpenMDW-1.1 许可开放权重，允许商业使用和自部署。具体条款建议查阅模型卡中的完整许可说明。相比闭源 API 按量计费的模式，自部署的商业模式在长期规模化使用时成本更具可控性。

Q：如何针对特定领域进行微调？
A：使用 NeMo Speech 工具包准备标注数据，在单 GPU 上约 0.5 至 2.3 小时即可完成适配。微调数据无需大量，少量高质量标注样本即可让模型适应自有口音、行业术语和特定输出格式。给定术语、人名等实体列表后，命名实体错误率可降低 6 倍。

9. 项目地址

版权声明：本文部分内容由 AI 辅助生成并经人工校准，版权归本站所有，未经允许禁止任何形式的转载。