AI 模型库：大模型、Agent 与开发工具
收录并解读主流 AI 模型、Agent 与开发工具的能力、场景与选型对比。
标签：语音AI
共 99 篇文章 · 清除标签
Nemotron 3.5 Transcribe – 英伟达开源的语音大模型
Nemotron 3.5 Transcribe 是英伟达推出的开源语音大模型，采用语音编码器加 MoE 架构，约 43 亿活跃参数，支持 40 种语言，可处理最长 1 小时、最多 8 人讲话的录音，覆盖逐字转写、说话人区分、语音翻译等功能。该模型通过语音增强语言模型（SALM）架构将语音编码器与冻结的说话人分离模型接入大语言模型，实现了带说话人标注的转写能力。Nemotron 3.5 Transc...
WorldSonus：港科大联合上海交大开源的实时流式视频配音框架深度评测
WorldSonus是由香港科技大学联合 Noiz AI、MetaX 及上海交通大学共同开源的流式视频配音框架，核心定位在于实现“视频流边生成、音频边输出”的实时交互式配音能力。该框架以 100ms 为一块进行增量生成，单块计算耗时仅 41.2ms，可持续输出 48kHz 立体声音频，显存占用恒定，支持无限时长跟流。有别于传统的离线双向配音模型，WorldSonus 采用因果 AR-Diffusi...
Hy-SimulMT – 腾讯混元开源的同声传译大模型深度评测
Hy-SimulMT是腾讯混元团队开源的同声传译大模型，专为中英语音到语音实时互译场景设计，支持边听边译、边说边输出的流式翻译模式，并具备实时克隆说话人音色的能力。实测响应时延约3秒，优于人类专业译员4–5秒的翻译水平；在RealSI评测集上实现延迟最低且翻译质量达开源最佳，超过多数商用API，并在多领域实测中质量超过人类同传专家。该模型以其低时延、高质量与开源特性，为同声传译领域树立了新的技术标...
科大讯飞 SparkAudio 1.0 深度评测：全国产算力驱动的星火语音基座大模型
SparkAudio 1.0 是科大讯飞于 2026 年 10 月 22 日在全球 1024 开发者节上发布的星火语音基座大模型，基于全国产算力完成训练，围绕语音识别、同传翻译、实时交互三大核心方向实现能力跃升，并拓展了音频理解、情绪识别、实时说话人分离与环境声理解等进阶能力。该模型通过半监督音频编码器、动态分段端到端建模、双范式协同解码三项技术创新，实现了整体效果提升 20%、响应时延降低 15...
Eleven Realtime：ElevenLabs 一体化语音 Agent 模型的架构突破与工程实践
Eleven Realtime 是 ElevenLabs 推出的一体化语音 Agent 模型系列，包含 v1 Mini 与 v1 Max 两个版本，核心设计思想是将语音识别（ASR）、语言模型推理、工具调用与语音合成（TTS）整合进单一模型，替代传统方案中多组件串联的复杂架构。该系列支持 90 多种语言，并可调用 ElevenLabs 声音库中 17,000 余种音色，v1 Max 在保持 98....
Ming-3.0：蚂蚁百灵开源全链路语音模型家族深度评测
Ming-3.0是蚂蚁集团百灵大模型团队开源的全链路语音系列模型，围绕语音合成（TTS）、音频理解与对话（Audio）、语音识别（ASR）三类核心任务推出五款模型。该系列以"合成+理解+识别"一体化能力覆盖语音应用全流程，其中TTS系列支持独创的"导演模式"精细控制情绪、节奏与重音，Audio系列可端到端理解长录音并结构化输出，ASR系列支持热词注入与方言识别。模型已落地支付宝、阿福APP等蚂蚁内...
GPT-Live-1.1 – OpenAI 推出的 ChatGPT 一代语音模型
GPT-Live-1.1是OpenAI于2025年推出的ChatGPT新一代语音模型，接替上一代GPT-Live-1成为语音交互的「前台引擎」，同时以轻量版GPT-Live-1.1 Quip替代原mini版本。该模型延续了经典的全双工交互架构，模型无需等待用户说完即可持续采集语音流，实时判断停顿、打断与语速变化，动态决定回应时机，支持用户随时插话或改变提问方向，使对话节奏接近真人交流。在复杂任务处...
MiDashengLM-Spatial – 小米开源的空间音频理解大模型
MiDashengLM-Spatial是小米Dasheng团队开源的空间音频理解大模型，业界首个在单一架构内统一通用音频理解与空间感知的端到端模型。该模型以MiDashengLM-7B为基座，通过新增Spatial-Dasheng空间音频编码器和层级语义到空间条件模块（HSSC），实现了声源方位感知、运动轨迹追踪以及多声源时空关系推理等能力，并支持重叠声源逐帧定位。配套数据方面，模型使用100万个...
YoVoice – 开源本地音频创作工具，实现从语音合成到乐谱编曲的全链路覆盖
YoVoice 是一款面向 macOS 和 Windows 平台的开源本地音频创作工具，由开发者 leemysw 发布，致力于为用户提供从文字转语音、零样本声音克隆到 AI 音乐作曲和五线谱编曲的完整创作链路。该工具基于 C++ 推理引擎 audio.cpp 构建，无需配置 Python 环境，安装即用，所有推理计算均在本地 GPU/CPU 完成，不依赖任何云端 API，从根源上保障了用户音频数据...
HelixWorld – Noiz AI 联合港科大开源的实时交互世界模型
HelixWorld 是 Noiz AI 与香港科技大学联合开源的实时交互式音视频世界模型，代表了生成式 AI 在空间智能领域的重要进展。该模型以单张静态图片和文字描述为输入，能够生成一个可供用户通过 WASD 键和方向键自由行走、转动视角的沉浸式三维世界，画面与立体空间音效同步实时生成，且声像随视角变化自然转换。基于 LTX-2.3 架构，HelixWorld 采用"双向教师 + 因果蒸馏"训练...
