Wan-Streamer – 阿里开源的实时全双工多模态基础模型

1. Wan-Streamer是什么

Wan-Streamer 是阿里达摩院开源的端到端实时全双工多模态基础模型，通过统一因果 Transformer 架构将文本、音频、视频的输入输出 token 整合为同一条因果序列，实现亚秒级实时双向视频交互，模型响应延迟仅 200ms，端到端总延迟 550ms，稳定输出 25FPS 同步音视频。该模型摒弃了传统多模块拼接方案（ASR+LLM+TTS+渲染），以单一模型完成感知、理解与生成的全流程，为实时数字人交互提供了全新的技术范式。

技术定位与领域： Wan-Streamer 属于多模态基础模型与实时交互系统交叉领域，专门面向需要低延迟、同步音视频输出的数字人对话场景。其独特定位在于，它是目前业界首个以开源方式公开的、具备全双工视频交互能力的单一因果 Transformer 模型，区别于仅支持语音的 GPT-4o Realtime 或依赖多模块级联的传统方案。

研发背景： 由阿里达摩院视觉与多模态团队主导研发，依托阿里巴巴在云计算、大模型和多模态理解方面的深厚积累。研发动机源于现有数字人系统普遍存在的延迟高、口型不同步、无法打断等问题，旨在通过端到端架构从根本上提升人机交互的自然度和实时性。

核心价值： 解决了实时视频对话中“听、看、说、表情”四者同步协同的难题，将端到端延迟压缩至 550ms，远低于行业通常的 1 秒以上水平。同时，全双工机制允许用户任意打断、AI 主动提问，交互体验接近真人对话，大幅提升了虚拟客服、AI 陪伴等场景的用户满意度。

技术特点： 采用全因果技术栈，从编码器、解码器到注意力层均严格遵循因果约束，确保仅利用历史信息预测未来。引入 Thinker-Performer 双 GPU 推理架构，将上下文更新与音视频生成解耦并行执行，在保持低延迟的同时支持长时序一致性。三段式训练流程（多任务预训练、全双工微调、流式蒸馏）保证了模型的泛化能力与轻量化部署潜力。

2. 主要功能

• 实时音视频对话： 支持用户与 AI 数字人进行双向视频通话，AI 可同步输出语音与面部表情，视频帧率稳定在 25FPS，口型与语音天然对齐，无需后期修正。该功能直接面向虚拟客服、直播互动等需要视觉反馈的场景。

• 全双工交互： 用户可在 AI 说话时随时打断，AI 也能主动发起提问，实现自然流畅的对话节奏。技术实现上，模型通过 160ms 流式分片不断监听输入流，在因果注意力机制下动态调整生成方向，避免传统半双工系统“你讲完我再说”的机械感。

• 多模态输入理解： 同时接收并理解用户的视频画面、语音和文字输入，三者以统一 token 序列进入模型。例如，用户的表情、手势、语气均可被模型捕获并影响回复内容，实现真正的多模态语境感知。

• 流式分片生成： 采用 160ms 短时流式分片，模型边接收用户输入边生成反馈，无需等待完整视频帧或语音片段。这一机制是低延迟的核心保证，使得模型侧响应仅需 200ms，远优于传统逐帧处理方案。

• 长时序一致性： 全局 KV 上下文缓存机制确保长时间对话中 AI 数字人的人物形象、语气、表情风格稳定统一。即使对话持续数十分钟，模型不会出现“忘掉”之前设定的角色特征或表情漂移现象。

• 单一模型端到端处理： 将感知（视频编码、语音编码）、理解（语义推理、情感分析）、生成（文本预测、音频合成、视频渲染）全部集成到一个 Transformer 中，消除了多模块拼接带来的信息损失和同步误差。训练时三段式递进，推理时 Thinker-Performer 双 GPU 协同，兼顾了模型容量与实时性。

3. 如何使用

目前 Wan-Streamer 仅发布了论文与项目官网演示，完整代码和模型权重尚未开源，暂无法本地部署。以下基于官方公布的技术方案，给出未来部署的预期使用指南。

1. 环境要求： 需要至少两块 NVIDIA GPU（推荐 A100 或 H100），显存合计不低于 80GB。操作系统建议 Ubuntu 20.04+，CUDA 版本 ≥ 11.8。Thinker 和 Performer 分别部署于不同 GPU，通过高速互联（NVLink/PCIe 4.0）共享 KV 缓存。

2. 安装步骤： 待代码开源后，可通过 git clone （链接待官方发布后更新） 克隆仓库，使用 pip install -r requirements.txt` 安装依赖。模型权重需从 Hugging Face 或官方镜像站下载，并放置于指定目录。

3. 启动服务： 运行 python launch.py --thinker_gpu 0 --performer_gpu 1 启动双进程推理服务。服务启动后默认监听 8080 端口，可通过 WebRTC 或 RTMP 协议接入摄像头与麦克风流。

4. 配置说明： 关键配置参数包括流式分片长度（默认 160ms）、视频分辨率（当前原型为 192p，未来可调）、KV 缓存大小（影响长对话稳定性）以及是否启用打断检测阈值。建议根据实际网络带宽和 GPU 显存调整。

5. 注意事项： 由于模型采用全因果架构，输入流必须按时间顺序发送，不可乱序。Thinker 与 Performer 之间的上下文同步依赖共享内存，需确保 GPU 间通信延迟低于 1ms。当前分辨率限制（192p）为原型设计，高分辨率版本需更大显存支持。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于需要实时视频交互且对延迟极度敏感的场景（如虚拟客服、AI 陪伴），Wan-Streamer 的端到端架构和全双工能力具有明显优势，但需等待开源后评估硬件成本。如果仅需语音对话且可接受 0.8s 延迟，GPT-4o Realtime 是成熟商业选择。对于已有视频模板、不需要实时打断的直播或教育场景，HeyGen 和 Synthesia 提供高画质视频输出，但交互自然度较低。Wan-Streamer 若能在开源后提升分辨率并降低硬件门槛，有望成为实时数字人领域的基础设施。

6. 编辑点评

Wan-Streamer 在技术创新性上达到了业界领先水平。其最突出的贡献在于证明了单一因果 Transformer 能够同时处理多模态输入输出并实现亚秒级全双工视频交互，这打破了长期以来“实时数字人必须多模块拼接”的行业共识。全因果技术栈的设计理念——从编码器到注意力层全部禁止未来信息泄露——虽然增加了训练难度，但确保了推理时的流式兼容性和时间一致性，为后续低延迟多模态模型提供了可复用的架构模板。Thinker-Performer 双 GPU 推理方案巧妙地将计算密集型任务（音视频去噪生成）与轻量级上下文更新解耦，在有限硬件上实现了 25FPS 的稳定输出，这是工程落地的重要突破。

实用价值方面，Wan-Streamer 直接瞄准了客服、直播、教育等对交互自然度要求极高的场景。传统方案中用户必须等待 AI 说完才能回应，或口型与语音错位带来的“恐怖谷效应”，在 Wan-Streamer 中都得到了有效解决。550ms 的端到端延迟意味着用户几乎感受不到等待，这足以改变人机对话的心理阈值。不过，当前 192p 的分辨率在商业应用中显然不够，且硬件门槛限制了中小团队的试用。若阿里能在开源版本中提供低分辨率但可单卡运行的轻量版，将极大加速生态建设。

适用人群定位：主要面向 AI 数字人技术研发团队、云服务商、以及需要部署实时视频客服的企业。对于个人开发者或初创公司，建议等待官方提供更轻量的模型变体或 API 服务。

未来发展潜力：随着 GPU 算力的持续提升和模型蒸馏技术的成熟，Wan-Streamer 有望在半年内实现 720p 输出并降低显存需求。其开源策略将吸引大量社区贡献，可能催生类似 Stable Diffusion 那样的多模态实时交互生态。但需注意，与 GPT-4o Realtime 相比，Wan-Streamer 在语义理解深度和通用知识方面仍有差距，未来可能需要融合更大规模的语言模型。

7. 应用场景

• 虚拟客服： 银行、电商、政务等场景部署 AI 数字人，用户可通过视频直接咨询问题，数字人同步输出语音与表情，支持打断追问，实现类似真人柜员的交互体验。Wan-Streamer 的低延迟和全双工能力可大幅提升客户满意度和问题解决效率。

• 直播互动： AI 主播实时观看观众弹幕与语音提问，即时生成表情和语音回应，可同时与多名观众互动。传统方案中 AI 主播只能朗读预设稿，Wan-Streamer 的实时打断机制让互动更自然，适用于带货直播、虚拟偶像等场景。

• AI 陪伴： 情感陪伴数字人支持长时间视频聊天，人物形象和语气始终一致，可记住对话历史。适合独居老人、儿童教育或心理疏导场景，提供沉浸式的陪伴体验。

• 游戏 NPC： 在开放世界游戏中，NPC 可与玩家进行实时视频对话，根据玩家的表情和语气动态调整回复，增强游戏沉浸感。Wan-Streamer 的流式分片生成机制适合游戏中的即时交互需求。

• 在线教育： AI 虚拟教师进行一对多或一对一的实时视频答疑，可捕捉学生表情判断理解程度，主动调整讲解节奏。支持学生随时发问，教师无需等待即可回应，提升教学效率。

8. 常见问题FAQ

Q：Wan-Streamer 目前可以本地部署使用吗？
A：目前仅发布了论文和项目官网演示，完整代码和模型权重尚未开源，暂无法本地部署。阿里达摩院表示将在后续开放，具体时间待官方公布。

Q：Wan-Streamer 与 GPT-4o Realtime 的主要区别是什么？
A：核心区别在于视频输出。GPT-4o Realtime 仅支持语音对话，而 Wan-Streamer 可以同步输出带口型表情的数字人视频。此外，Wan-Streamer 采用单一因果 Transformer 端到端架构，无需 ASR+LLM+TTS 拼接，延迟更低且口型同步更好。

Q：Wan-Streamer 对硬件有什么要求？
A：推荐使用至少两块 NVIDIA A100 或 H100 GPU，显存合计不低于 80GB。Thinker 和 Performer 分别部署于不同 GPU，通过 NVLink 共享 KV 缓存。消费级显卡（如 RTX 4090）因显存和带宽限制，无法直接运行。

Q：当前视频分辨率只有 192p，未来会支持高清吗？
A：当前 192p 为原型验证版本，官方计划在后续迭代中提升分辨率至 720p 或更高。高分辨率版本需要更多显存和算力，可能通过模型蒸馏或量化技术降低资源消耗。

Q：Wan-Streamer 支持中文吗？
A：论文主要基于英文数据训练，但模型架构本身支持多语言。中文场景的口型同步和语音合成效果需等待开源后实际测试，预计通过微调中文多模态数据可适配。

Q：训练 Wan-Streamer 需要多少数据？
A：论文未公开具体数据量，但三段式训练需要大量多模态对话数据（视频+语音+文本），以及全双工交互的标注数据。普通团队复现难度较大，建议直接使用官方预训练权重。

Q：是否存在隐私和安全风险？
A：由于模型需要实时处理用户视频画面，在部署时需注意数据加密和合规要求。建议在本地私有化部署，避免视频数据上传至云端。官方开源版本应包含数据脱敏接口。

9. 项目地址

• 项目官网： https://wan-streamer.com/
• arXiv 技术论文： https://arxiv.org/pdf/2606.25041
• 官方代码仓库（待开源）： 计划于 GitHub 发布，具体地址待官方公布，可关注阿里达摩院 GitHub 组织 https://github.com/alibaba