AI 模型库：大模型、Agent 与开发工具
收录并解读主流 AI 模型、Agent 与开发工具的能力、场景与选型对比。
标签：语音AI
共 99 篇文章 · 清除标签
Grok Voice 3.0 – SpaceXSI 推出的端到端语音转语音模型
Grok Voice 3.0 是由 SpaceXSI 推出的端到端语音转语音模型，在独立测试机构 Artificial Analysis 的语音综合榜单中以 86.9 分位居首位，响应延迟低于 1 秒，单次任务运行成本约 0.025 美元，显著低于同级别竞品。该模型采用语音到语音的直接建模架构，音频输入后不经文本中间表示即可直接输出语音回复，从结构上消除了传统级联方案的误差累积与延迟叠加问题。目前...
OpenDots 深度评测：CopilotKit 开源的 AI 同事工作区，能否成为 OpenAI Dots 的替代方案？
OpenDots 是由 CopilotKit 推出的开源 AI 同事工作区模板，支持用户完全自行托管。该工具允许用户创建具有独立角色、工具权限和专属电脑的 AI 员工（称为 Dots），并通过 AG-UI 协议接入各类大语言模型与 MCP 服务。OpenDots 的核心设计理念是将 AI 从单次对话助手升级为长期在线、可执行真实任务、具备工作记忆的协作同事，其功能覆盖文档沉淀、实时操作监控、人工审...
HeyGen Voice – HeyGen 推出的自研语音模型
HeyGen Voice是AI数字人公司HeyGen于2026年10月9日推出的自研语音模型，在Artificial Analysis TTS榜单Controlled Voice子榜中登顶。该模型能够保留用户本人声音的语气、重音、情感和节奏，让数字人演绎脚本时不再有明显朗读感。HeyGen Voice与Avatar V共用同一端到端技术栈，在HeyGen平台和API中免费开放，为高质量数字人配音提...
TalkLikeYou —— 中科院自动化所开源的实时数字人框架深度评测
TalkLikeYou 是由中国科学院自动化研究所开源的一款实时数字人（Talking Head）生成框架，其核心能力在于仅凭一张人像照片和一段音频，即可驱动照片中的人物开口说话，且嘴部动作能够精准模仿指定真人的个性化说话习惯。该框架通过运动空间建模与一步采样技术，在单张 RTX 3090 显卡上实现了 32.43 FPS 的实时生成速度，打破了以往数字人生成在速度与画质之间的平衡限制。项目代码与...
VoxMem – 墨尔本大学等开源的音频大模型记忆基准
VoxMem是由墨尔本大学与新南威尔士大学研究团队联合推出的音频大模型记忆基准（Benchmark）。该基准首创"4类声学证据×4种记忆操作"的二维评测框架，将语音语义、说话人身份、副语言线索与环境声四类信息维度，同信息抽取、跨会话推理、时序追踪与拒答四种记忆操作深度交叉，构建覆盖8K至64K token多会话历史的标准化评测体系。对15个主流模型的系统性测试显示，在32K上下文长度下，没有任何模...
MAI-Transcribe-2-Streaming：微软实时流式语音转写模型深度评测
MAI-Transcribe-2-Streaming 是微软推出的首个实时流式语音转写模型，能够在讲话进行时持续输出文字，覆盖 60 种语言并自动检测语言切换。该模型在 Artificial Analysis 流式转写榜单中以 2.50% 的词错误率和 0.13 秒的最终转录延迟双双登顶，首批文本延迟低至数百毫秒，文字最快在语音后 320 毫秒显示。其核心价值在于将传统语音转写从"说完再识别"的批...
Index-Translate – B站开源的多语言翻译模型家族
Index-Translate是B站（哔哩哔哩）Index LLM团队开源的多语言翻译模型家族，基于Qwen3.5底座构建，采用Apache-2.0协议开放权重。该家族文本模型覆盖150种语言互译，提供2B、9B、35B-A3B三种参数规模，支持术语统一、格式保留、指定字段翻译等指令约束。除文本翻译外，家族还包含Index-Echo语音翻译、Index-Homura音节可控翻译、Index-Nat...
R2T2 – 网易有道开源的低延迟真流式语音识别模型深度评测
R2T2（Real Real-Time Transcription）是网易有道开源的低延迟真流式语音识别模型，基于Qwen3-ASR架构构建，采用append-only机制实现"已上屏文本不回改"的稳定输出。该模型支持80ms至2s的可调分块策略，针对中英双语优化并保留多语言能力，平均延迟约200—600ms，提供vLLM、Transformers、llama.cpp/GGUF等多后端部署方案，适...
T3PO – 网易有道开源的流式同传翻译模型
T3PO（simulTaneous Translation via pareTo Policy Optimization）是网易有道开源的流式同传翻译模型，核心解决"边说边译"场景下翻译质量与响应延迟的动态平衡问题。该模型将同传任务建模为增量决策过程，通过Pareto DPO偏好优化方法训练策略，使模型能够根据已接收的源语上下文自主判断是继续等待（READ）还是立即产出译文（WRITE）。T3PO...
DeepSeek Harness 桌面版评测：官方 GUI 客户端如何降低 Agent 使用门槛
DeepSeek Harness 桌面版是 DeepSeek 官方推出的图形化客户端，旨在为原本基于命令行的 DeepSeek Harness 框架提供可视化操作界面。用户登录 DeepSeek 账号或配置 API Key、选定本地工作区后，即可像使用普通桌面 AI 应用一样，以自然语言向 Agent 布置任务。该客户端支持标准、PTC、极简、创造四种工作模式，内置多 Agent 协作、语音输入、...
