EchoWM – 京东开源的交互式视听世界模型

1. EchoWM是什么

EchoWM是京东探索研究院开源的交互式视听世界模型，延续JoyAI-Echo的原生音视频生成能力，让用户以第一/第三人称视角在AI生成的世界中实时移动探索，画面、空间关系与环境音、语音持续同步且长时间不跑偏。模型采用统一相机意图接口与世界数据引擎训练，WBench导航评测平均分81.7位列第一。

技术定位与领域： 属于交互式视听世界模型（Interactive Audio-Visual World Model），跨越计算机视觉、自然语言处理、语音生成与实时交互多个交叉领域。相比传统视频生成模型仅关注画面真实感，EchoWM在生成视频的同时联合生成环境音与语音，并支持用户在生成世界中实时探索，显著提升沉浸式交互体验。

研发背景： 由京东探索研究院研发并开源，基于团队自研的JoyAI-Echo音视频生成框架。京东探索研究院在多媒体内容生成方向已积累深厚技术储备，EchoWM的发布填补了国内开源世界模型中音视频联合生成与实时交互能力兼备的空白。

核心价值： 解决了多数世界模型"只出画面不出声"以及交互能力欠缺的问题。传统视频生成模型通常生成一段固定视频后结束，用户无法进入画面内部探索；而EchoWM通过统一相机意图接口，将键盘指令映射为连续6-DoF轨迹，让用户以第一或第三人称视角实时游走于生成场景中，并在场景变化时保持环境音、语音与画面的自然同步，支持多轮长时程探索。

技术特点： 模型融合统一相机意图接口、四类互补数据源的世界数据引擎、渐进式四阶段训练策略，以及sink-plus-FIFO缓存机制支撑的长时程流式交互。在推理性能上，通过分布匹配蒸馏压缩为四步采样，在控制KV成本的同时维持高响应速度。

2. 主要功能

• 实时可探索世界生成： 用户通过WASD方向键在AI生成的场景中自由移动、转身、折返，世界随操作实时展开。系统将离散键盘指令转换为连续6-DoF相机轨迹，响应延迟控制在可交互范围内，实现"走入画面"的沉浸体验。

• 原生音视频联合生成： 在同一框架内同步生成720p视频与环境音、音乐、人物语音，声音随画面变化自然延续。区别于后处理配音方案，EchoWM在生成阶段即建立音画对齐关系，保证声源位置、音量与画面事件的一致性。

• 第一/第三人称双视角控制： 第一人称下镜头即观察者移动，操作手感接近第一人称游戏；第三人称下镜头自动跟随人物、车辆等主体运动，模型从训练数据中学习"主体移动—镜头跟随"的耦合关系，无需显式指定轨迹参数。

• 多轮长时程延续： 用上一段末尾的音视频作为下一轮上下文，用户可在一段生成内容基础上继续探索。多轮操作后场景布局、主体外观与声音依然连贯，避免常见的长视频生成中出现的场景漂移问题。

• Action DSL动作指令系统： 提供结构化的动作描述语言，格式为<按键>-<帧数>，逗号连接，如w-60,a-60表示前进60帧后左移60帧。支持w/s/a/d/i/j/k按键组合，便于精确控制相机运动路径。

• 渐进式四阶段训练管线： 第一阶段AV-rich数据音视频联合预训练；第二阶段冻结骨干网络，仅训练轻量轨迹分支强化控制响应；第三阶段联合微调；第四阶段自回归后训练，引入Teacher Forcing与Self-Gradient Forcing机制提升长时间生成的稳定性。

• 高效四步采样推理： 通过分布匹配蒸馏将生成过程压缩为四步采样，相比自回归逐帧生成大幅降低推理耗时，配合sink-plus-FIFO缓存机制在控制KV成本的同时支撑长时程流式交互，使实时操作成为可能。

3. 应用场景

• 游戏原型开发： 创作者进入生成场景试玩，验证空间布局、路线设计与镜头体验后再决定制作方向。相比传统原型开发需搭建关卡、布置对象，EchoWM让策划和关卡设计师在几小时内即可获得可探索的初步场景，降低早期验证成本。

• 互动叙事： 剧情按用户选择分支推进并持续生成，替代传统预制素材，用于互动剧、互动小说。创作者的脚本以提示词方式注入生成流程，用户的每次操作改变故事走向，声音与画面随情节同步更新，在多轮交互中保持故事连贯性。

• 沉浸式内容： 影视与广告内容从"观看"变为"进入"，观众可自由探索画面中的世界。制片团队可用EchoWM在正式拍摄前构建可探索的虚拟场景用于镜头预演，广告创意团队可快速生成多个虚拟场景版本用于提案比稿。

• 虚拟游览： 博物馆、景区、房产等场景的低成本数字化漫游，无需逐帧建模。用户以第一人称视角在生成场景中自由移动，环境音与画面同步匹配，为文旅机构和个人创作者提供了一条成本可控的数字化展示路径。

• 数字人表演： 人物语音、动作与周围动态环境、镜头、声音协同生成，适用于虚拟主播、数字员工。EchoWM将人物表演与场景变化统一在同一生成框架内，简化数字人内容的制作流程，尤其适合需要场景响应用户操作的应用形态。

4. 如何使用

1. 克隆仓库： 执行git clone https://github.com/jd-opensource/JoyAI-Echo下载项目代码，进入echo_wm/目录。注意该目录与长视频项目echo_longvideo/相互独立，需区分使用。

2. 创建环境： 使用conda create -n echo-wm python=3.11创建独立Python 3.11环境并激活，避免与系统Python环境产生依赖冲突。

3. 安装依赖： 先安装PyTorch 2.9.1（CUDA 12.8版本），再执行pip install -r requirements.txt安装其余依赖。安装完成后通过torch.cuda.is_available()验证GPU可用，确保CUDA环境配置正确。

4. 下载模型权重： 使用hf download Echo-Team/Echo-WM下载模型checkpoint。另需下载Gemma 3文本编码器（gated仓库），需先在Hugging Face页面接受许可协议并执行hf auth login完成身份验证。

5. 运行官方示例验证： 执行python scripts/run_wm_case.py --case examples/wm_cases/0010等内置完整案例，确认环境配置无误、模型权重加载正常、生成管线可完整运转。

6. 自定义生成与动作指令： 运行inference_wm.py，传入首帧图片、六字段提示词及动作串（Action DSL）即可输出带声音的视频。动作指令格式为<按键>-<帧数>，逗号连接，支持w/s/a/d/i/j/k组合，实现精确的相机运动控制。

5. 优缺点分析

6. 同类工具对比

**

选型建议： 若核心需求是高沉浸感的视听交互体验——用户需要"走入"AI生成的世界自由探索，同时要求环境音、语音与画面保持同步，EchoWM是当前综合表现领先的选择。其统一控制接口同时支持第一人称与第三人称操作，对游戏原型验证、互动叙事创作等场景适配度高。

备选考量： 若应用场景侧重导演视角的视频创作，更注重镜头调度而非自由探索，HappyOyster的导演模式可能更贴合实际工作流；若项目要求低部署门槛或轻量级集成，也可以评估WBench分数以外的工程适配性因素，根据自身算力条件选择最合适的方案。

7. 编辑总结

EchoWM在技术路线上做出了有价值的差异化选择。多数世界模型项目专注于提升画面生成质量，而EchoWM将音频生成、实时交互和长时程一致性视为同等重要的核心指标，通过统一相机意图接口将离散键盘指令映射为连续6-DoF轨迹，同时驱动第一人称与第三人称视角控制，在架构设计上具备较好的扩展弹性。

世界数据引擎整合内部采集gameplay、人类实玩录像、UE仿真、普通互联网视频四类互补数据源，并以轨迹最大平移幅度的第90百分位数为全局"尺子"统一归一化，保留不同轨迹间的相对位移差异，为模型学习"主体移动—镜头跟随"的耦合关系提供扎实的数据基础。渐进式四阶段训练策略同样体现出工程上的审慎考量：从预训练到控制分支强化再到联合微调与自回归后训练，每个阶段目标明确，有效平衡了控制响应与生成质量。

实用价值层面，EchoWM为游戏原型开发、互动叙事、虚拟游览等场景提供了一个可低门槛探索的实现路径。WBench导航评测平均分81.7的领先成绩与用户研究偏好63.13%的表现，说明其在交互性和一致性维度上确实具备可感知的优势。开源策略进一步降低了生态参与门槛，开发者可在现有架构上进行二次开发与定制。

适用人群方面，EchoWM面向世界模型研究者、游戏开发者、互动内容创作者以及虚拟制片领域的技术人员。目前仍需注意硬件资源门槛和部署复杂度带来的使用限制，但模型架构与训练策略的完整性为后续持续优化奠定了良好基础。

8. 常见问题FAQ

Q：EchoWM与普通视频生成模型的核心区别是什么？
A：普通视频生成模型根据提示词生成一段固定视频后即结束，用户无法与画面交互；EchoWM支持用户以WASD方向键在生成场景中实时移动探索，画面、空间关系和环境音随操作同步更新，是"可进入"的世界模型而非单向的视频输出。

Q：第一人称和第三人称视角如何切换？
A：两种视角共用同一套相机意图接口。第一人称下镜头即观察者自身运动；第三人称下模型自动学习"主体移动—镜头跟随"的耦合关系，镜头跟随人物、车辆等主体运动，无需为不同视角单独设置控制器参数。

Q：声音与画面如何保持同步？
A：EchoWM在同一生成框架内联合生成视频与音频，轨迹信息仅注入视频分支，音频随画面联动。声音在生成阶段即与画面事件对齐，而非后处理配音合成，从机制层面保证声源位置、音量与画面的一致性。

Q：部署需要什么样的硬件环境？
A：需具备CUDA 12.8支持的NVIDIA GPU，安装PyTorch 2.9.1（cu128）。生成720p音视频对显存和算力要求较高，具体数值以官方仓库environment配置为准，建议使用高性能GPU获得流畅的交互体验。

Q：多轮交互后场景是否会跑偏？
A：EchoWM通过自回归后训练与sink-plus-FIFO缓存机制支撑多轮长时程交互，用上一段末尾音视频作为下一轮上下文，场景布局、主体外观与声音在多轮操作后仍保持连贯，官方评测中长时程一致性指标表现突出。

Q：Action DSL动作指令如何编写？
A：格式为<按键>-<帧数>，逗号连接多个动作。例如w-60,a-60表示前进60帧后左移60帧，支持w/s/a/d/i/j/k按键组合，用于精确描述相机运动路径。

9. 项目地址

• 项目官网： https://echo-team-joy-future-academy-jd.github.io/Echo-1.5-Page/wm/
• GitHub仓库： https://github.com/jd-opensource/JoyAI-Echo
• arXiv技术论文： https://arxiv.org/pdf/2608.23189