dots.tts – 小红书联合上海交大开源的语音合成基座模型

1. dots.tts是什么

dots.tts 是小红书 dots 团队与上海交大 X-LANCE 实验室联合开源的 20 亿参数全连续自回归语音合成基座模型。模型直接在连续隐空间中逐块生成 48kHz 音频，在 Seed-TTS-Eval 等基准上取得领先的音色相似度与内容准确度，支持零样本克隆、流式输出及低延迟双工对话。项目全量开源代码与权重，并扩展了 dots.tts.edit 精确语音编辑能力。

技术定位与领域： 属于语音合成（Text-to-Speech, TTS）领域，采用全连续自回归架构，直接在连续隐空间建模，摒弃传统离散声学Token方案。其定位为通用语音合成基座模型，兼顾高质量生成、零样本克隆和实时交互能力。

研发背景： 由小红书 dots 团队与上海交通大学 X-LANCE 实验室联合研发。团队在语音与多模态领域有深厚积累，旨在解决现有离散语音合成方案中信息瓶颈、音色细节损失以及实时性不足等问题，推动开源语音合成技术发展。

核心价值： 解决了传统离散Token方案中量化误差导致音色保真度下降的问题，通过全连续自回归实现高保真语音生成；同时提供零样本克隆、流式低延迟交互和精确编辑能力，为语音助手、内容创作、多语言服务等场景提供统一的基座模型。

技术特点： 核心创新包括语义化连续表征（AudioVAE）、因果语义编码器抑制误差传播、自回归流匹配头（DiT）生成声学patch，以及SOAR自纠正对齐、MeanFlow蒸馏、sCM和DMD等后训练加速技术，实现从多步到单步的高质量生成。

2. 主要功能

• 零样本音色克隆： 仅需3-10秒参考音频即可复刻该音色朗读任意新文本，支持跨语言克隆。在Seed-TTS-Eval基准上，内容准确度与说话人相似度均达到领先水平，为个性化语音生成提供了高效方案。

• 文本转语音合成： 提供从随机音色采样到指定说话人的高质量语音生成，基于2B参数连续自回归模型直接输出48kHz音频，无需额外声码器，音质自然细腻。

• 流式生成与低延迟交互： 天然支持流式输出，文本前缀输入后即可逐块生成音频；1T1A双流模式下，上游LLM每输出一个文本Token语音侧即刻响应，音频首包延迟低至54.4毫秒，适用于实时语音Agent与双工对话。

• 精确语音编辑： 支持对已有录音进行文本替换、情绪调节、音高与语速修改、停顿插入或删除，且支持多项操作组合在一条指令中一次性完成，未编辑区域保持原样，极大提升音频后期效率。

• 多语言支持： 覆盖24种语言，在MiniMax多语言评测中平均说话人相似度达83.9，其中19个语种取得单项第一，为全球化多语言语音应用提供坚实基础。

• 多档推理速度： 提供Base、SOAR、MeanFlow（4步）、两步sCM、单步DMD等多个检查点，用户可根据应用场景在音质与推理速度之间灵活选择，满足从高保真离线生成到实时在线服务的不同需求。

3. 如何使用

1. 环境要求与安装： 执行 pip install dots.tts 即可安装，或从GitHub克隆源码后以 pip install -e . 进行本地开发安装。高并发场景可额外部署SGLang Omni以获得CUDA Graph加速与连续批处理支持。推荐使用NVIDIA GPU，显存建议24GB以上。

2. 命令行合成： 使用 dots.tts 入口并指定 --model-name-or-path、--text 和目标 --prompt-audio 与 --prompt-text，即可实现零样本音色克隆；省略 --prompt-text 则退化为x-vector克隆，省略 --prompt-audio 则进行随机音色采样。

3. 命令行编辑： 使用 dots.tts.edit 入口，提供 --source-audio 和XML风格的 --instruction，即可对已有录音执行文本替换、情绪或韵律修改等精确编辑。

4. Python API流式输出： 调用 generate_stream() 可逐块获取音频张量，实时推送到播放器或WebSocket，实现边生成边播放的低延迟体验。适用于需要实时音频输出的应用。

5. Web界面： 运行 python apps/gradio/app.py 启动可视化合成界面，或运行 apps/edit_playground/app.py 启动Edit Playground，在浏览器中上传音频、标注编辑区间并实时预览结果，降低使用门槛。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于追求最高音色保真度、多语言覆盖和低延迟实时交互的应用，dots.tts凭借全连续架构和丰富的加速选项成为首选，尤其适合语音Agent、多语言内容生成和精确编辑场景。若项目主要面向中文且对硬件要求敏感，CosyVoice 3在中文任务上经过优化，参数量更小，部署成本较低。对于轻量级应用或研究探索，ChatTTS和FishSpeech提供更小的模型和快速部署能力，但多语言和音色克隆能力相对有限。开发者应根据具体场景的音质需求、实时性要求和可用硬件资源进行选择。

6. 编辑总结

dots.tts作为小红书与上海交大联合开源的语音合成基座模型，在技术路线上做出了显著创新。全连续隐空间自回归架构从根本上避免了离散量化带来的信息瓶颈，使得音色细节保留和自然度达到新高度。其语义化连续表征、因果语义编码器以及多阶段后训练加速（SOAR、MeanFlow、sCM、DMD）构成了一套完整的技术体系，兼顾了生成质量与推理效率。在Seed-TTS-Eval和MiniMax多语言评测中的表现验证了其有效性，尤其在多语言音色相似度上展现出明显优势。

从实用价值看，dots.tts不仅提供了高质量的TTS和零样本克隆，还通过原生流式双工模式和精确编辑功能拓展了应用边界，适用于实时语音助手、有声内容生产、播客后期等多类场景。全量开源（Apache 2.0）并附带训练、微调、蒸馏代码，极大降低了研究者和开发者的使用门槛。

适用人群包括语音技术研究者、AI应用开发者、内容创作者以及需要多语言语音能力的全球化产品团队。未来，随着社区贡献的增多和模型的持续迭代，dots.tts有望在实时交互、情感表达和更轻量化的部署上进一步发展。尽管当前在硬件要求和长文本稳定性方面仍有提升空间，但其技术路线和开源生态已为语音合成领域提供了重要的参考。

7. 应用场景

• 实时语音Agent： 1T1A双流模式首包延迟低至54.4毫秒，适用于LLM驱动的实时双工对话与语音助手，实现边生成边播放的自然交互体验。

• 零样本音色克隆： 仅需数秒参考音频即可复刻任意音色，支持跨语言克隆，适用于有声书录制、配音和个性化内容创作，大幅降低声音制作成本。

• 多语言内容生成： 覆盖24种语言且保持高说话人相似度，适用于全球化产品的多语种语音播报、本地化服务和教育内容，提升用户体验。

• 精确语音编辑： 通过dots.tts.edit对现有录音进行文本替换、情绪调节、韵律修改与停顿调整，适用于播客后期制作和音频内容精修，提高编辑效率。

• 直播与实时播报： 配合LLM流式输出实现边生成边播放，适用于新闻播报、直播带货和实时信息播报场景，增强互动性和时效性。

8. 常见问题FAQ

Q：dots.tts是否完全开源？
A：是的，项目采用Apache 2.0许可证，代码、模型权重（6个检查点）以及训练、微调、蒸馏全套代码均在GitHub开源，支持商业和学术用途。

Q：运行dots.tts需要什么硬件？
A：推荐使用NVIDIA GPU，显存建议24GB以上。2B参数模型在FP16推理下约需4GB显存，但实际使用中还需考虑输入输出长度和批处理大小，建议使用A100或更高配置以获得最佳体验。

Q：如何微调dots.tts以适应特定音色或领域？
A：运行 accelerate launch scripts/train_dots_tts.py 并配置自有数据路径，即可在公开检查点基础上进行微调。项目提供了完整的微调脚本，用户可参考文档调整参数。

Q：dots.tts支持中文语音合成吗？
A：支持。dots.tts覆盖24种语言，包括中文。在多语言评测中，中文任务的说话人相似度和内容准确度均表现优异。

Q：语音编辑功能如何操作？
A：使用 dots.tts.edit 命令行工具，提供 --source-audio 和XML格式的 --instruction 指令，可指定替换文本、调整情绪、修改音高语速等。多条指令可组合使用，未编辑区域保持原样。

Q：流式生成的延迟有多低？
A：在1T1A双流模式下，音频首包延迟可低至54.4毫秒。配合SGLang Omni部署，单卡H100可支持16路并发，吞吐达4.76 req/s，满足实时交互需求。

9. 项目地址

1. GitHub仓库：https://github.com/studio-dots-ai/dots.tts
2. arXiv技术论文：https://arxiv.org/pdf/2608.02673