HelixWorld – Noiz AI 联合港科大开源的实时交互世界模型

1. HelixWorld是什么

HelixWorld 是 Noiz AI 与香港科技大学联合开源的实时交互式音视频世界模型，代表了生成式 AI 在空间智能领域的重要进展。该模型以单张静态图片和文字描述为输入，能够生成一个可供用户通过 WASD 键和方向键自由行走、转动视角的沉浸式三维世界，画面与立体空间音效同步实时生成，且声像随视角变化自然转换。基于 LTX-2.3 架构，HelixWorld 采用"双向教师 + 因果蒸馏"训练范式，在单张 H800 显卡上即可实现 768×512 分辨率、24 FPS 的实时生成性能。项目同时发布了 HelixBench 基准测试，专门用于评估空间声学一致性。

技术定位与领域： HelixWorld 属于交互式世界模型（Interactive World Model）与空间音视频生成（Spatial Audiovisual Generation）的交叉领域。与传统的文生视频模型不同，它实现了用户操控下的实时环境探索，并首次在开源方案中将空间音频与视觉场景联合生成，填补了该方向的技术空白。

研发背景： 项目由 Noiz AI 与香港科技大学联合研发。团队此前在扩散模型、视频生成与空间音频领域有深厚积累。研发动机源于现有世界模型仅关注视觉、缺乏空间听觉反馈，以及生成速度无法满足实时交互需求两大痛点，旨在构建一个真正可探索、可聆听的 AI 世界模拟器。

核心价值： HelixWorld 解决了传统世界模型无法实时交互、音画分离、长程生成漂移三大核心问题。其创新价值在于首次实现开源条件下的"转头即变声"空间声学一致性，并借助在线轨迹蒸馏与长程流式微调技术，保障了 30 秒以上连续生成过程中的画面与声音稳定性。

技术特点： 模型采用双向教师模型预训练与因果蒸馏相结合的训练范式，通过 PRoPE 位置编码注入 6-DoF 相机轨迹，以 AdaLN-Zero 调制离散动作信号，配合跨模态注意力机制将相机运动传递至音频分支，最终以 4 步去噪完成实时推理，推理速度达到同类方案的 2.5 倍以上。

2. 主要功能

• 实时可交互世界生成： 用户输入一张起始图片和文字描述，模型即可生成一个可自由探索的三维世界。系统实时渲染画面，用户可以通过键盘操作在其中移动和观察，所有内容均为 AI 动态生成而非预渲染资源，为交互式内容创作提供了全新范式。

• 键盘/动作操控系统： 支持 WASD 控制移动方向、方向键调整观察视角，画面随操作即时响应。模型将离散动作指令注入扩散时间步调制过程，确保每一帧生成内容与用户操作精确对齐，实现了接近零延迟的操控体验。

• 原生音视频联合生成： 视频与立体声音频在生成过程中同步产出，而非后期人工配音或拼接。音频分支通过跨模态注意力机制接收相机运动信息，使声音的声像位置与画面内容在生成阶段即保持空间一致性，从根本上避免了音画不同步问题。

• 空间声学一致性： 声像随镜头转动自然变化，例如左侧声源在用户转身后声音方向随之改变。模型在训练中学习了 6-DoF 相机轨迹与声场分布之间的映射关系，实现了"转头即变声"的沉浸式听觉体验，其空间一致性得分数倍于同类方案。

• 三轨解耦提示词控制： 分别使用视频描述、音频描述、音视频联合描述三组独立提示词控制生成内容。这种解耦设计允许用户精细调控画面与声音的各自表现，同时通过联合描述约束二者的语义对齐，兼顾了灵活性与一致性。

• 实时流畅体验： 在单张 NVIDIA H800 显卡上即可实现 768×512 分辨率、24 FPS 的实时生成，RTF（实时因子）达到 0.77。通过因果蒸馏将教师模型压缩为少步学生模型，配合 ODE 初始化，仅需 4 步去噪即可完成单帧生成，满足交互场景的实时性要求。

• 长程生成稳定性： 针对自回归长程生成中的误差累积问题，采用在线轨迹蒸馏与长程流式微调相结合的策略。通过滑窗 KV cache 逐段展开长序列训练，保留 sink 帧锚点并截断历史梯度，确保 30 秒以上连续生成的画面与声音保持稳定，且生成多样性不降反升。

3. 如何使用

HelixWorld 提供在线体验与本地部署两种使用方式，用户可根据自身需求和技术条件选择合适方案。

1. 在线快速体验： 打开官网 https://helixworld.org，从示例图片库中选择起始图片或上传自定义图片，填写场景的文字描述后即可进入 AI 生成的世界。使用 WASD 键控制移动、方向键调整视角，实时探索生成内容。运行过程中可随时修改提示词，动态调整后续场景的生成方向，适合快速验证效果和产品演示。

2. 本地环境准备： 本地部署需满足以下硬件与软件条件：Linux 操作系统、Python 3.11 及以上版本、CUDA 12.x 环境、NVIDIA 显卡（建议 80GB 显存，如 H800 或 A100），同时需要安装 ffmpeg 和 ffprobe 用于视频处理。显存不足时可通过降低分辨率或帧率缓解，但实时性能会有所下降。

3. 项目安装与依赖配置： 执行 git clone https://github.com/NoizAI/HelixWorld.git 克隆项目代码，创建 conda 虚拟环境并激活后，运行 pip install -r requirements.txt 安装全部依赖。建议使用 Python 3.11 专用环境，避免与其他项目的依赖版本冲突。

4. 模型权重下载： 运行 python download_models.py 脚本自动下载预训练模型权重。该脚本会从官方存储位置拉取教师模型与学生模型的检查点文件，下载完成后脚本会校验文件完整性，确保模型文件未损坏。

5. 生成与输出： 准备一张起始图片，通过 ./run.sh 脚本指定图片路径、画面提示词、声音提示词、音视频联合提示词以及动作序列等参数，执行后生成 MP4 格式视频输出到 outputs 目录。建议先生成短序列验证参数配置，再逐步增加动作序列长度以观察长程生成效果。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于需要空间音频反馈的沉浸式应用（如 VR/AR、游戏原型、影视预演），HelixWorld 是目前唯一具备完整音视频联合生成能力的开源方案，其空间声学一致性优势明显。若项目仅需视觉层面的世界探索且对实时性要求极高，可考虑 Genie 2 或 World Labs 的技术路线，但需注意其未开源带来的集成成本。

对于算力资源有限的团队，HelixWorld 的单卡实时方案降低了部署门槛；而追求最高画质和最长生成时长的场景，建议关注 World Labs 的闭源方案或等待 HelixWorld 后续版本的分辨率升级。开源生态的完整性和可定制性使 HelixWorld 在学术研究和原型验证场景中具备独特价值。

6. 编辑总结

HelixWorld 的发布标志着交互式世界模型从"纯视觉探索"迈入了"音视频联合沉浸"的新阶段。从技术创新角度看，其"双向教师 + 因果蒸馏"的训练范式解决了扩散模型实时推理的算力瓶颈，4 步去噪即可完成单帧生成，这一技术路线为后续实时生成模型提供了可借鉴的框架。在线轨迹蒸馏与长程流式微调的组合方案有效应对了自回归生成中的误差累积问题，且在不牺牲多样性的前提下提升了稳定性，这在同类工作中较为少见。

从实用价值角度，HelixWorld 将世界模型的硬件门槛降至单张 H800 显卡，为中小团队和研究机构提供了可行的实验平台。其空间声学一致性设计不仅提升了沉浸感，更为具身智能训练、VR 内容生产等场景提供了新的技术路径。三轨解耦提示词机制赋予了创作者精细控制音画表现的能力，在实际工作流中具有较高的灵活性和实用价值。

该工具适合游戏开发者、VR/AR 内容创作者、影视预演团队、具身智能研究人员以及世界模型方向的学术研究者使用。随着社区生态的逐步完善和后续版本在分辨率、生成时长等维度的持续优化，HelixWorld 有望成为交互式世界模型领域的重要基础设施，推动空间智能技术的普及与落地。

7. 应用场景

• 沉浸式游戏原型开发： 游戏团队无需建模和引擎开发，仅需输入概念图片和场景描述即可生成可行走探索的开放世界。可快速验证游戏玩法、场景氛围和关卡设计，将 Demo 开发周期从数周缩短至数天，大幅降低早期验证成本。

• VR/AR 虚拟空间构建： 第一人称视角与空间音频的组合天然适配头显设备。可快速生成虚拟展厅、数字孪生环境、沉浸式教育场景等，用户佩戴头显后即可获得视觉与听觉双重沉浸体验，适用于文旅、教育、展览展示等行业。

• 影视与广告预演： 导演和美术团队上传概念图即可"走进"场景，实时试听音画效果。在实拍或 CG 制作前低成本验证镜头语言、场景氛围和声音设计，减少后期返工，提升创作效率与沟通质量。

• AI 视频通话与虚拟主播背景： 根据语音内容和用户交互实时生成匹配的动态背景与空间音效，替代传统绿幕和固定素材库。为主播和远程会议提供个性化、响应式的虚拟环境，增强观众沉浸感和互动趣味性。

• 具身智能训练与仿真： 作为交互式世界模拟器，为机器人和自动驾驶系统提供带声光反馈的低成本训练环境。智能体可在生成的世界中学习物理交互规律、空间导航和声源定位能力，补充真实世界数据难以覆盖的长尾场景。

8. 常见问题FAQ

Q：HelixWorld 对硬件配置有什么具体要求？
A：官方推荐使用 80GB 显存的 NVIDIA 显卡（如 H800 或 A100），操作系统为 Linux，需安装 CUDA 12.x、Python 3.11 以及 ffmpeg 和 ffprobe。显存不足时可通过降低生成分辨率或帧率来运行，但实时交互体验会受到影响。

Q：生成的视频和音频是实时渲染的吗？
A：是的。HelixWorld 采用因果蒸馏后的少步学生模型，仅需 4 步去噪即可完成单帧生成，在单张 H800 显卡上可实现 24 FPS 的实时推理，画面与空间音频同步生成并随用户操作即时响应。

Q：如何实现"转头即变声"的空间声学效果？
A：模型在训练阶段通过跨模态注意力机制将 6-DoF 相机轨迹信息传递至音频分支，使音频生成过程感知视角变化。当用户转动视角时，声像位置会根据新的视角方向重新计算，实现声随画动的自然过渡。

Q：HelixWorld 支持多长的连续生成时间？
A：通过在线轨迹蒸馏与长程流式微调技术，模型在 30 秒以上的连续生成中画面和声音保持稳定，且生成多样性不降反升。理论上可支持更长时间，但超长会话中的累积误差仍需进一步验证。

Q：能否使用自定义图片和提示词进行生成？
A：可以。用户既可以选择官方提供的示例图片，也可以上传自定义图片作为起始帧，同时填写视频、音频、音视频联合三组独立的文字描述来控制生成内容，实现个性化的场景创作。

Q：项目是否完全开源，可以商用吗？
A：HelixWorld 的代码和模型权重完全开放，用户可根据开源协议条款自由使用，包括商业用途。详细的许可证信息请参阅项目 GitHub 仓库中的 LICENSE 文件。

9. 项目地址

• 项目官网： https://helixworld.org/
• GitHub 仓库： https://github.com/NoizAI/HelixWorld
• arXiv 技术论文： https://arxiv.org/pdf/2609.38123