返回模型列表

MoWorld – 魔芯科技推出的全球首个高帧率交互式世界模型

AI科技编辑部
RSS 订阅
MoWorld – 魔芯科技推出的全球首个高帧率交互式世界模型 官方截图
(图片来源官方截图)

导读摘要:

MoWorld 是由魔芯科技推出的全球首个高帧率交互式世界模型,基于纯国产华为昇腾 NPU 全栈优化,实现了最高 50 FPS 的实时推理能力,推理成本较传统 GPU 部署降低 70%。该模型采用 14B 参数的混合专家(MoE)架构,支持精确相机轨迹控制与 4D 空间感知,能够生成长时程、空间一致的大尺度场景视频,覆盖城市、室内、驾驶等复杂环境。MoWorld 的推出标志着世界模型从非实时生成迈...

1. MoWorld是什么

MoWorld 是由魔芯科技推出的全球首个高帧率交互式世界模型,基于纯国产华为昇腾 NPU 全栈优化,实现了最高 50 FPS 的实时推理能力,推理成本较传统 GPU 部署降低 70%。该模型采用 14B 参数的混合专家(MoE)架构,支持精确相机轨迹控制与 4D 空间感知,能够生成长时程、空间一致的大尺度场景视频,覆盖城市、室内、驾驶等复杂环境。MoWorld 的推出标志着世界模型从非实时生成迈入实时交互时代,为影视预演、实时云游戏、具身智能仿真、自动驾驶验证及 3D 场景重建等领域提供了全新的技术基础。

moworld 官网截图
(图片来源官方截图)

技术定位与领域: MoWorld 属于世界模型(World Model)与视频生成交叉领域,以高帧率实时交互为核心差异化能力。与传统的扩散模型或自回归视频生成模型不同,MoWorld 定位为“Flash World Model”,强调实时推理与用户交互,而非离线一次性生成。其技术路线融合了 4D 空间建模、相机轨迹控制与长时程一致性保持,面向需要实时反馈和精确控制的专业应用场景。

研发背景: 魔芯科技是一家专注于国产算力平台与大规模 AI 模型研发的科技公司。MoWorld 的研发动机源于当前世界模型普遍存在的两大瓶颈:一是推理速度慢,无法支持实时交互;二是严重依赖高价 GPU 硬件,部署成本高昂。魔芯科技选择在华为昇腾 NPU 上构建全栈技术链路,从预训练、自回归蒸馏到实时推理均基于国产算力完成,首次证明了国产芯片能够独立支撑大规模世界模型的训练与部署。

核心价值: MoWorld 的核心价值在于解决了世界模型“可交互”与“可部署”的双重难题。通过将推理帧率提升至 50 FPS,用户能够像操作实时渲染引擎一样,连续控制相机轨迹并即时观察场景变化,这在影视预演、游戏开发和具身仿真中具有革命性意义。同时,基于 NPU 的优化使推理成本降低 70%,使得高帧率世界模型首次具备了规模化落地的经济可行性,打破了 GPU 生态的垄断格局。

技术特点: MoWorld 的技术体系包含四大支柱:14B 参数的 MoE 架构提供强大的生成能力;全局锚点与相机稳定 Memory 机制确保大尺度场景下的空间一致性;三层协同优化(流水线层、并行层、算子层)实现 50 FPS 实时推理;纯国产 NPU 全栈原生优化打通了从训练到部署的完整链路。这些特点共同构成了 MoWorld 的技术护城河。

2. 主要功能

  • 高帧率实时交互: MoWorld 最高支持 50 FPS 的实时推理,将世界模型从非实时生成带入实时交互时代。用户可以通过连续相机控制实时探索生成的虚拟世界,获得类似实时渲染引擎的交互体验,这在影视预演和云游戏场景中尤为重要。

  • 4D 世界建模: 模型融合精确相机轨迹与空间几何信息,实现带空间感知的 4D 动态世界模拟。与传统的 3D 视频生成不同,MoWorld 不仅生成视觉内容,还隐式建模了场景的几何结构和时间演化,使得生成的视频具备可操控的空间属性。

  • 长时程空间一致性: 在城市、高速公路、沙漠等大尺度鸟瞰场景中,MoWorld 能够保持建筑布局、道路走向和远景细节的稳定。通过引入全局锚点与相机稳定 Memory 机制,即使经历高空俯冲、快速拉升等大范围镜头运动,跨视角几何关系依然稳定不漂移。

  • 相机-剧情联合控制: 支持导演级镜头运动与叙事事件协同控制,用户可精确指定相机轨迹并同步触发场景中的动态事件。生成的视频可直接用于 3DGS 场景重建和影视预演流程,打通了从创意到资产的闭环。

  • 低成本国产部署: 基于华为昇腾 NPU 全栈原生优化,推理成本较 GPU 降低 70%。这是首次在国产算力上完成从预训练、自回归蒸馏到实时推理的完整技术链路,证明国产芯片可以独立支撑大规模世界模型的训练与部署。

  • 多场景泛化生成: 训练数据覆盖真实世界与虚拟世界,通过 3D 几何一致性、轨迹精度、多视图稳定性等多维质量筛选构建高质量训练资产。模型兼顾了数据丰富性与跨域泛化能力,能够适应城市、室内、驾驶等多种场景的生成需求。

3. 如何使用

目前 MoWorld 处于发布初期,权重、代码与在线服务尚未完全开放。根据官方信息,使用流程预计如下:

  1. 环境要求: 硬件方面需要基于华为昇腾 NPU 的服务器或工作站(如 Atlas 系列),操作系统建议为 Linux(Ubuntu 20.04 或更高版本)。软件依赖包括 Python 3.8+、PyTorch 的昇腾适配版本以及华为 CANN 工具包。由于模型参数规模为 14B,建议至少配备 4 张昇腾 910B NPU 进行推理。

  2. 模型获取: 待官方开放后,可通过项目官网((链接待官方发布后更新) Hugging Face 格式提供,支持直接加载使用。

  3. 推理配置: 用户需要准备相机轨迹控制参数(如位置、朝向、焦距序列)和场景描述文本。推理时通过调用 API 传入控制参数,模型将实时生成对应视角的视频帧。官方预计提供 Python SDK 和 REST API 两种接入方式。

  4. 最佳实践: 对于影视预演场景,建议先使用低分辨率(如 512×512)进行快速预览,确认镜头轨迹后再切换到高分辨率(如 1024×1024)进行最终生成。对于实时交互应用,建议使用多 NPU 并行推理以获得最佳帧率表现。

注意事项:由于 MoWorld 基于昇腾 NPU 优化,目前不支持 NVIDIA GPU 直接运行。如需在 GPU 上部署,可能需要等待官方提供适配版本或自行进行算子移植。

4. 优缺点分析

优点
高帧率实时交互: 最高 50 FPS 的推理速度将世界模型带入实时交互时代,支持连续相机控制和即时反馈,显著优于现有非实时生成方案。
纯国产 NPU 全栈: 首次在华为昇腾 NPU 上打通从预训练到实时推理的完整链路,证明国产算力可独立支撑大规模世界模型,具有战略价值。
长时程空间一致性: 全局锚点与相机稳定 Memory 机制确保大尺度场景下跨视角几何关系稳定不漂移,在鸟瞰场景中表现尤为突出。
推理成本降低 70%: 经 NPU 极致优化后,部署成本大幅下降,让高帧率世界模型首次具备规模化落地的经济可行性。

5. 同类工具对比

对比维度 MoWorld(魔芯科技) HY World 1.5(腾讯混元) OpenAI Sora
核心定位 高帧率 Flash World Model,实时交互式世界模拟 开源实时世界模型框架,流式交互探索 文本到视频生成模型,非实时生成
实时帧率 最高 50 FPS 24 FPS 流式生成 不支持实时交互
模型架构 14B 参数 MoE(混合专家) 未公开具体参数规模 Diffusion Transformer(DiT)
硬件平台 纯国产华为昇腾 NPU,全栈原生优化 主要基于 NVIDIA GPU 生态 NVIDIA GPU(H100 级)
推理成本 较 GPU 降低 70% 标准 GPU 部署成本 极高,单次生成需数分钟
空间一致性 全局锚点 + 相机稳定 Memory 机制,大尺度场景跨视角几何稳定 Memory Reconstitution 机制,动态重建历史上下文防止几何漂移 依赖扩散过程,长视频空间一致性较弱
控制精度 精确相机轨迹 + 4D 空间感知,支持导演级镜头运动 3D 相机姿态 + 离散命令双动作表示,支持键盘鼠标控制 仅支持文本控制,无法精确控制相机

选型建议: 对于需要实时交互和精确相机控制的专业场景(如影视预演、具身仿真),MoWorld 的高帧率与 4D 空间感知能力具有不可替代的优势。如果团队已有 NVIDIA GPU 基础设施且对实时性要求不高,HY World 1.5 的开源框架和流式生成能力是更易落地的选择。对于追求极致画质的非实时生成任务,Sora 的文本到视频能力仍然领先,但其高昂的算力成本和缺乏精细控制能力是主要限制。

6. 编辑点评

MoWorld 的技术创新性体现在三个层面:一是首次将世界模型的推理帧率提升至 50 FPS,实现了真正意义上的实时交互,这不仅是数字上的进步,更意味着世界模型从“离线生成工具”转变为“实时交互引擎”,应用范式发生了根本性变化。二是纯国产 NPU 全栈优化方案的验证,证明了华为昇腾芯片能够支撑 14B 参数级别的大规模世界模型训练与部署,这对于突破 GPU 生态依赖具有战略意义。三是长时程空间一致性机制的创新,全局锚点与 Memory 机制的引入有效解决了大尺度场景下跨视角几何漂移这一行业难题。

从实用价值来看,MoWorld 在影视预演、具身仿真和自动驾驶验证等专业领域具有明确的应用前景。推理成本降低 70% 使得这些场景的落地具备了经济可行性。然而,当前生态的不完善——权重与代码未开放、硬件门槛高、文档缺失——限制了其短期内的普及速度。

适用人群方面,MoWorld 主要面向影视制作团队、游戏开发工作室、具身智能研究机构和自动驾驶研发团队等专业用户。对于个人开发者或小型团队,建议等待官方开放在线服务或提供轻量级版本后再尝试。

未来发展潜力巨大。随着华为昇腾生态的持续完善和国产算力产业链的成熟,MoWorld 的技术路线有望成为世界模型领域的重要分支。如果魔芯科技能够开放 API 服务并降低硬件门槛,MoWorld 有望在影视预演和交互式内容创作领域占据领先地位。

**

7. 应用场景

  • 影视制作与镜头预演: 导演和视觉特效团队可使用 MoWorld 实时预览复杂镜头运动,通过精确控制相机轨迹生成背景场景。生成的视频可直接用于 3DGS 场景重建,显著减少背景漂移、视角跳变和场景身份不一致问题,降低后期制作成本。

  • 实时云游戏与交互内容: 云游戏平台可利用 MoWorld 的高帧率生成能力,为用户提供低延迟的虚拟世界探索体验。用户通过连续相机控制实时探索生成的场景,支撑沉浸式漫游、镜头控制和动态环境交互,无需预渲染大量资源。

  • 室内场景重建与数字孪生: 建筑和室内设计团队可使用 MoWorld 生成的视频进行 3D 场景重建。由于模型保持空间一致性,重建的目标精细度高、稳定性好,可直接输出数字场景资产用于数字孪生平台。

  • 具身智能仿真: 机器人研发团队可将 MoWorld 作为实时环境模拟器,以 50 FPS 的速度生成多样化的交互场景。高帧率输出让机器人系统以前所未有的速度进行环境感知与决策,支持强化学习训练和算法验证。

  • 自动驾驶训练与验证: 自动驾驶算法团队可通过 MoWorld 实时生成多样化的驾驶场景(城市、高速、沙漠等),支撑算法在动态、大尺度环境中的快速迭代与安全性验证。精确的相机轨迹控制可模拟不同视角的传感器输入。

8. 常见问题FAQ

Q:MoWorld 与 OpenAI Sora 有什么区别?
A:MoWorld 的核心差异化在于实时交互能力(50 FPS)和精确相机轨迹控制,而 Sora 专注文本到视频的高质量非实时生成。MoWorld 更适合需要实时反馈和精细控制的专业场景,Sora 更适合追求视觉品质的内容创作。

Q:MoWorld 是否支持 NVIDIA GPU 部署?
A:目前 MoWorld 基于华为昇腾 NPU 全栈优化,不支持 NVIDIA GPU 直接运行。如需在 GPU 上部署,可能需要等待官方提供适配版本或自行进行算子移植。魔芯科技尚未公布 GPU 支持计划。

Q:MoWorld 的长时程空间一致性是如何实现的?
A:MoWorld 引入了全局锚点与相机稳定 Memory 机制。全局锚点提供场景的基准几何参考,Memory 机制在自回归生成过程中累积历史帧的几何信息,防止跨视角几何漂移。即使经历大范围镜头运动,场景结构依然稳定。

Q:MoWorld 的推理成本降低 70% 有依据吗?
A:该数据来源于魔芯科技官方公布的技术报告。通过在华为昇腾 NPU 上进行算子级优化(混合精度动态量化、HBM 高效注意力前端)、流水线级优化(条件编码复用、按需模块加载)和并行级优化(多 NPU 环形通信、分层序列并行),实现了相比同等规模 GPU 部署 70% 的成本降低。

Q:MoWorld 何时开放权重和代码?
A:MoWorld 目前处于发布初期,权重、代码与在线服务即将开放。具体时间请关注项目官网((链接待官方发布后更新)

9. 项目地址

版权声明:本文部分内容由 AI 辅助生成并经人工校准,版权归本站所有,未经允许禁止任何形式的转载。