AuK – 腾讯混元开源的语音生成与编辑基础模型

1. AuK是什么

AuK是腾讯混元团队开源的一款15亿参数语音生成与编辑基础模型，采用流匹配扩散架构而非传统自回归方案。该模型通过统一的自然语言指令接口即可完成16种语音任务，覆盖零样本/指令式TTS、语音内容编辑、声学调节、副语言编辑、降噪及人声分离等多元场景。AuK的核心设计理念在于将语音编辑任务视为以原始音频隐表示为起点的去噪过程，从而在精准修改指定内容的同时，最大化保留原始音色、旋律和未编辑部分的完整性，并额外提供4步推理的AuK-Flash快速版本，推理速度提升约4.5倍。

技术定位与领域： AuK属于语音生成与编辑基础模型领域，横跨文本到语音合成（TTS）、语音内容编辑、声学属性调节、音频增强及音源分离五大任务族。其独特之处在于以单一模型统一覆盖生成与编辑两大方向，打破了以往任务间壁垒分明的局面。

研发背景： 该模型由腾讯混元大模型团队开发，依托其在多模态大模型和语音技术领域的长期积累。团队将多模态大模型与音频扩散架构深度融合，构建了从自然语言指令到语音输出的完整链路，体现了腾讯在基础模型研发上的系统化布局。

核心价值： AuK解决了传统语音模型任务单一、编辑能力缺失的核心痛点。以往修改录音中的个别词句需要重新录制或使用多种工具组合处理，而AuK允许用户通过简单的文字指令直接修改已有音频的内容、声学属性和副语言特征，大幅降低了语音后期制作的技术门槛和人力成本。

技术特点： AuK采用10层双流MMDiT加20层单流DiT的混合Transformer架构，模型宽度1536，配合音频VAE将24kHz波形编码为50Hz声学隐空间。约30.3亿条指令-音频配对数据（累计约195万小时）的统一格式对齐训练，使其具备了从单一接口泛化到多任务的能力，这一数据规模和架构设计在开源语音模型中处于领先水平。

2. 主要功能

• Zero-shot TTS（零样本语音合成）： 用户提供几秒参考音频，模型即可克隆音色并合成全新语音内容。该功能适用于个性化语音合成场景，如为虚拟助手定制音色、有声书角色配音等，无需额外训练即可实现高相似度的音色复刻。

• Instruct TTS（指令式语音合成）： 这是AuK的差异化能力之一，仅凭纯文字描述声音特征——如“低沉、带有磁性的男声”——即可生成对应语音，无需任何参考音频。该功能大幅降低了语音合成的使用门槛，使内容创作者无需寻找特定音色样本即可获得目标声音。

• 语音内容编辑： 用户可以在不改变原始音色和语调的前提下，直接替换、插入或删除录音中的文字内容。例如修正播客中的口误、更新语音导航中的地名等，解决了传统重新录制带来的音色不一致问题。

• 声学属性编辑： 支持以半音为单位调节音高、以倍速为单位调节语速、以分贝为单位调节音量，实现对语音声学特征的精细控制。该功能为音频后期制作提供了比传统时间拉伸和变调算法更自然、更高质量的处理效果。

• 情绪与音色编辑： 在保持文字内容不变的前提下，改变语音的情感色彩（如从平静转为激动），或将同一段内容转换为不同音色。该功能对影视配音和有声内容制作具有实用价值，能够在后期快速调整表演情绪。

• 副语言事件编辑： 支持添加或移除呼吸声、笑声、咳嗽等副语言事件，并可实现正常语音与耳语之间的相互转换。这些细节处理显著提升生成语音的自然度和表现力，使合成语音更接近真人发声习惯。

• 口音编辑与去噪： 能够去除录音中的口音特征，同时实现降噪和去混响处理，提升语音清晰度。该功能对于跨国沟通、语言学习材料制作以及老旧录音修复等场景具有直接应用价值。

• 语音与音乐分离： 支持按说话顺序拆分多人对话音频，或根据内容描述提取特定说话人声音；同时可从歌曲中分离人声与伴奏。该功能为音视频后期制作、音乐Remix创作提供了便捷的素材处理手段。

3. 如何使用

1. 确认硬件环境： 准备一台配备约24GB显存NVIDIA GPU的机器（如RTX 3090或RTX 4090），确保GPU驱动与CUDA版本满足PyTorch运行要求。显存不足时推理可能无法完成或需要大幅降低批处理大小。

2. 克隆代码仓库： 从GitHub克隆Tencent-Hunyuan/AuK仓库到本地。执行git clone https://github.com/Tencent-Hunyuan/AuK命令，并进入项目根目录查看README文档，了解具体的环境配置指引。

3. 安装依赖环境： 按照仓库要求创建Python虚拟环境（建议使用Python 3.10及以上版本），并执行pip install -r requirements.txt安装所需的依赖包。注意检查torch版本是否与本地CUDA版本匹配，避免运行时出现算力不兼容错误。

4. 下载模型权重： 从Hugging Face或ModelScope下载AuK模型权重文件及配套的音频VAE文件，并将其放置在仓库指定目录下。下载时需确认模型版本（标准版或AuK-Flash蒸馏版），两者权重文件不可混用。

5. 下载语义条件模型： 单独下载多模态大模型Qwen2.5-Omni-3B，该模型负责解析用户输入的自然语言指令和参考音频，生成语义条件供后续音频生成使用。

6. 准备输入素材： 根据任务需求准备好目标文本、参考音频（用于Zero-shot TTS）或待编辑的原始音频文件。音频格式建议使用WAV或Flac，采样率与模型要求匹配（24kHz）。

7. 编写自然语言指令： 按照任务类型撰写清晰、具体的指令。例如描述声音特征（“用低沉、缓慢的男声朗读”）、指定要替换的句子（“把‘你好’改成‘早安’”）或要求调节的音高/语速数值。

8. 运行推理： 通过命令行CLI接口输入指令并指定素材路径，执行生成或编辑任务。注意观察输出日志中的步数进度，根据结果音频质量调整指令措辞、采样步数（如增加至32步）或CFG强度等参数，以获得理想效果。

4. 优缺点分析

5. 同类工具对比

选型建议： 如果核心需求是语音后期编辑——如修正录音错误、调整情绪语调、去除口音噪声——AuK是当前开源方案中功能覆盖较全面的选择，其统一编辑能力显著优于仅支持生成的CosyVoice 3。若应用场景强调实时交互，如语音助手或在线对话，CosyVoice 3凭借150ms首包延迟和流式推理架构更具优势。对于轻量级对话语音生成任务，ChatTTS提供了较低的部署门槛和CPU推理能力，适合资源受限的环境。

6. 编辑总结

AuK在语音生成与编辑基础模型领域展现了明确的技术创新方向。从架构层面看，选择流匹配扩散而非自回归路线，并将编辑任务统一为“原始音频 + 指令 → 输出音频”的范式，这一设计使其天然具备内容修改能力，且能有效保留未编辑部分的声学特征。30.3亿条指令-音频配对的训练规模为模型跨任务泛化提供了数据基础，而人类偏好优化和强化学习后训练的引入，进一步提升了输出语音的自然度和指令遵循质量。

从实用价值角度审视，AuK将以往需要多个专业工具协作完成的语音后期工作流——改词、修音、调情绪、去噪、分离——压缩为单一模型的指令式操作，显著降低了音频制作的技术门槛。对于播客制作、有声内容生产、影视台词修复等场景，这种“用文字改音频”的方式能够有效节省重复录制和人工后期的时间成本。

模型定位面向具备一定技术能力的专业用户：开发者和音频工程师可利用AuK构建自动化的语音后期处理流水线，内容创作者可通过Instruct TTS快速生成多样化角色音色。值得注意的是，24GB显存需求将一部分个人用户排除在外，但这也促使社区探索量化、推理优化等轻量化方案。随着开源社区对AuK进行二次开发和适配，其在更多垂直场景中的应用潜力值得持续关注。

7. 应用场景

• 影视/短剧后期台词修复： 演员念错词或剧本微调时，使用AuK直接替换录音中的个别词句，无需重新进棚配音，完整保留原表演的情绪和语调，提升后期制作效率。

• 播客与采访制作： 利用语音内容编辑功能删除口误和废话，通过声学属性编辑调整语速节奏，配合去噪功能消除背景噪音和混响，将粗剪采访素材快速整理为可直接发布的成片。

• 有声书与AI配音生产： 使用Instruct TTS按角色特点描述生成差异化音色，同一朗读者可在后期通过情绪编辑调整某章节的表演张力，降低多角色有声内容的制作成本。

• 音乐创作与二次创作： 运用歌词编辑功能改写翻唱歌曲歌词而保留原旋律和歌声特质，或通过音乐分离从现有歌曲中提取人声作为Remix素材，为音乐人提供灵活的创作工具。

• 语言训练与无障碍应用： 为有口音或语言障碍的使用者去除口音、调节语速和音量，生成更清晰易懂的语音内容，辅助语言学习材料制作和特殊人群沟通辅助。

8. 常见问题FAQ

Q：AuK与传统的TTS模型有什么本质区别？
A：传统TTS模型仅能根据文本生成全新的语音，无法修改已有音频内容。AuK在生成能力之外，支持对现有录音进行内容、声学属性、情绪和副语言层面的精细编辑，实现了从“仅生成”到“生成+编辑”的能力扩展。

Q：AuK的推理需要多高的硬件配置？能否在消费级显卡上运行？
A：AuK标准版推理需要约24GB显存的GPU，如RTX 3090或RTX 4090。消费级显卡（如RTX 3060的12GB显存）通常无法直接运行完整模型，用户可尝试使用AuK-Flash蒸馏版或探索模型量化方案来降低显存需求。

Q：Zero-shot TTS与Instruct TTS有什么不同？各自适用什么场景？
A：Zero-shot TTS需要提供几秒参考音频来克隆特定音色，适合需要复刻某个具体人声的场景，如为某位已故演员配音。Instruct TTS则仅凭文字描述即可生成语音，如“温柔的女声”，适合快速生成多样化角色声音而不需要寻找参考音频样本的情况。

Q：AuK支持哪些语言？中文效果如何？
A：官方未公布完整支持语言列表，示例和基准测试主要以中文和英文为主。模型在中文语音合成和编辑上经过大量训练数据覆盖，效果表现良好，但具体的小语种和方言支持范围待官方公布确认。

Q：使用AuK进行语音编辑时，如何保证编辑后的音色一致性？
A：AuK基于流匹配扩散架构，编辑时将原始音频的隐表示作为去噪起点，仅修改指令要求的部分，因此未修改内容的原始音色、旋律和韵律特征能够得到较好保留。建议在编写指令时明确指定要修改的具体内容，避免过于宽泛的描述导致模型对整个音频进行不必要的重构。

Q：模型可以商用吗？
A：AuK已在GitHub和HuggingFace公开发布，代码和权重对社区开放。具体商用许可条款需查阅模型仓库中的LICENSE文件确认，一般而言开源模型在遵守相应许可证要求（如署名、共享协议等）的前提下可用于商业产品。

9. 项目地址

• 项目官网： https://auk-project.github.io/
• GitHub仓库： https://github.com/Tencent-Hunyuan/AuK
• Hugging Face模型库： https://huggingface.co/tencent/AuK
• arXiv技术论文： https://arxiv.org/pdf/2609.08936