Xiaomi Auto World Model – 小米推出的辅助驾驶世界模型

小米辅助驾驶世界模型：重建与生成深度耦合的技术突破

1. 小米辅助驾驶世界模型是什么

小米汽车推出的辅助驾驶世界模型（Xiaomi Auto World Model）首次将三维重建（WorldRec）与视频生成（WorldGen）深度耦合，构建起一套完整的驾驶场景理解与模拟体系。该模型通过稀疏3D锚点实现10秒视频的10秒快速重建，并采用两阶段训练与ODE蒸馏技术将视频生成去噪步数压缩至4步，达到0.19秒/帧的生成速度，支持最长1分钟连续视频生成。在Waymo数据集上重建精度PSNR达28.48，在nuScenes数据集上生成质量FVD为64.97，两项指标均达到业界领先水平。该模型已成功落地合成数据生成、闭环仿真测试、辅助驾驶学堂三大业务场景，标志着世界模型从学术研究向工业级应用的实质性跨越。

技术定位与领域： 属于自动驾驶领域的视觉世界模型，专注于驾驶场景的三维重建与视频生成。与传统纯生成式世界模型不同，该模型采用“重建+生成”耦合架构，在几何精度和生成一致性之间实现了平衡。

研发背景： 由小米汽车团队自主研发，基于对辅助驾驶系统中长尾场景数据稀缺、仿真测试效率低下等核心痛点的深入洞察。团队在计算机视觉和自动驾驶领域积累了丰富经验，从技术架构到工程优化都体现了对实际部署需求的深刻理解。

核心价值： 解决了自动驾驶领域长期存在的“数据稀缺-模型脆弱-测试不足”恶性循环。通过高效重建快速获取高精度场景几何，再通过可控生成扩展至未观测时空区域，为感知模型训练、系统测试和用户教育提供源源不断的高质量合成数据，大幅降低对真实路采数据的依赖。

技术特点： 采用稀疏3D锚点表征替代传统稠密高斯，从源头消除多视角一致性冲突；独创两阶段训练策略与ODE蒸馏技术，在保持生成质量的同时将推理速度提升12倍；重建与生成形成闭环约束，几何先验持续校正生成过程，生成结果不断补全重建边界，实现长时序高稳定性输出。

2. 主要功能

• WorldRec三维重建模块： 采用稀疏3D查询锚点替代传统稠密高斯表征，每个锚点主动聚合多相机多时刻特征，通过可见性加权机制自动筛选可靠观测。该设计从数据层面消除多视角冲突与鬼影问题，10秒视频重建仅需10秒，在Waymo数据集上PSNR达28.48，超越DGGT约1个点。

• WorldGen视频生成模块： 基于“全双向时序注意力预训练+因果注意力微调”两阶段训练策略，通过ODE蒸馏将去噪步数从50步压缩至4步，实现单视角0.19秒/帧的极速生成。支持最长81帧（约1分钟）连续生成，可生成未来帧、未观测视角与遮挡区内容，FVD达64.97超越所有基线模型。

• 重建-生成深度耦合： 重建侧提供3D几何先验约束生成稳定性，生成侧扩展重建边界至未观测时空区域。两者目标函数在结构上互相约束，重建的确定性几何先验持续校正生成过程，有效抑制长时序漂移，实现高稳定性、高一致性、高真实性的场景输出。

• 极端场景生成： 支持暴雨、大雪、浓雾等极端天气及动物闯入、行人横穿等长尾危险场景的高质量合成。通过可控条件注入，可在保持场景几何一致性的前提下灵活调整环境参数，为感知模型训练提供稀缺的长尾数据样本。

• 合成数据批量生成： 已交付超过10万条高质量的驾驶场景合成数据片段，覆盖多种天气条件、道路类型和交通状况。每条数据包含精确的3D几何标注和多视角图像，可直接用于感知模型的训练与验证，大幅降低对昂贵真实数据采集的依赖。

• 闭环仿真测试： 构建完整的闭环仿真环境，能够复现真实事故场景并进行定向优化。通过可控参数调整，可系统性地测试感知和决策模型在特定危险场景下的表现，提升测试效率与完备性，降低实车测试成本与风险。

3. 如何使用

1. 环境要求与前置条件： 用户需拥有一辆小米汽车（如SU7等车型），车载系统需更新至支持辅助驾驶学堂模块的版本。该模型作为车载端侧功能部署，无需额外硬件配置，但要求车辆具备稳定的网络连接以获取场景数据更新。

2. 进入辅助驾驶学堂： 在车载中控系统主界面找到“辅助驾驶”或“智能驾驶”入口，点击进入后选择“辅助驾驶学堂”模块。系统会自动检测车辆状态，确保处于安全停车状态下才能启动模拟场景功能。

3. 选择模拟场景： 在场景列表中浏览可用的驾驶场景模板，包括城市道路、高速公路、乡村小路等基础场景，以及暴雨、夜间、动物闯入等极端场景。每个场景都配有简短的文字描述和预览缩略图，帮助用户了解模拟内容。

4. 配置场景参数： 选择场景后，用户可调整部分参数如天气强度（小雨/中雨/暴雨）、交通流量（稀疏/正常/密集）、时间（白天/黄昏/夜晚）等。系统会根据参数配置实时生成对应的驾驶场景视频，展示正确的操作流程和注意事项。

5. 开始模拟学习： 确认参数后点击“开始模拟”，系统会动态生成第一人称视角的驾驶教学视频。视频中会标注关键路况信息、推荐操作方式和潜在风险提示，用户可通过暂停、回放等功能反复学习特定路段的操作技巧。

6. 注意事项： 辅助驾驶学堂功能仅在车辆静止且安全状态下可用，不可在行驶过程中使用。模拟场景中的交通规则和路况基于中国道路标准设计，部分特殊场景可能需要定期更新数据包。建议用户从基础场景开始学习，逐步过渡到复杂极端场景。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于追求技术可获取性和研究价值的团队，小米模型虽然性能优秀但受限于平台独占性，更适合作为技术参考而非直接使用。Waymo和Tesla的世界模型同样处于封闭状态，仅服务各自自动驾驶系统。对于需要开放工具链的研发团队，NVIDIA Drive Sim提供了更灵活的平台，支持自定义场景和传感器配置，但需要较高的硬件投入和二次开发成本。从技术路线来看，小米的“重建+生成”耦合架构在几何精度和生成一致性方面具有独特优势，特别适合对场景结构有严格要求的仿真测试和数据生成任务。

6. 编辑点评

从技术创新性来看，小米辅助驾驶世界模型在架构设计上做出了有价值的探索。将三维重建与视频生成深度耦合并非简单的模块拼接，而是通过目标函数的结构性约束实现了两者的互相校正与协同进化。这种设计思路有效解决了纯生成式模型在长时序生成中容易出现的几何漂移问题，也弥补了纯重建方法无法覆盖未观测区域的局限性。从性能指标来看，在Waymo和nuScenes两大公开数据集上均取得SOTA成绩，证明了技术路线的有效性。

在实用价值方面，该模型已经完成了从学术研究到工业落地的完整闭环。合成数据生成交付10万+数据片段、闭环仿真测试复现真实事故场景、辅助驾驶学堂提供动态教学视频，三项业务落地都直接服务于小米汽车的实际需求。这种“技术研发-产品落地-用户反馈”的正向循环，对于推动自动驾驶技术从实验室走向量产具有示范意义。

适用人群方面，该模型主要面向小米汽车用户和内部研发团队。对于普通车主，辅助驾驶学堂功能提供了直观的驾驶教学体验；对于研发人员，模型的技术架构和性能指标具有重要的参考价值。但对于第三方研究者和开发团队，由于模型未开源且平台独占，实际可用性有限。

未来发展潜力值得期待。随着小米汽车产品线的扩展和用户基数的增长，模型将获得更多真实场景数据用于迭代优化。如果未来能够开放部分接口或提供云端服务，将极大扩展其应用范围和影响力。此外，该技术路线在机器人、数字孪生等领域的迁移潜力也值得关注。

7. 应用场景

• 合成数据生成： 为辅助驾驶感知模型训练提供高质量、高多样性、高危险性的长尾场景合成数据。通过可控参数调整，可批量生成暴雨、夜间、动物闯入等真实世界中稀缺的场景样本，解决数据标注成本高、采集周期长的问题。

• 闭环仿真测试： 构建完整的闭环仿真环境，能够复现真实事故场景并进行定向优化。测试工程师可以通过调整场景参数，系统性地验证感知和决策模型在特定危险场景下的表现，提升测试效率与完备性。

• 辅助驾驶学堂： 在智能座舱中动态生成第一人称驾驶教学视频，针对复杂路况向用户展示正确操作。系统可根据用户驾驶习惯和薄弱环节推荐特定场景，通过沉浸式模拟学习提升人机共驾安全性与用户体验。

• 智能座舱交互： 作为座舱智能助手的视觉引擎，根据用户语音指令实时生成对应驾驶场景的模拟画面。例如用户询问“雨天高速如何变道”，系统可立即生成一个包含正确操作流程的模拟视频，提供直观的教学体验。

8. 常见问题FAQ

Q：小米辅助驾驶世界模型是否需要联网使用？
A：辅助驾驶学堂功能在首次加载场景数据时需要网络连接，后续使用中部分基础场景可缓存至本地离线运行。但极端天气等复杂场景的实时生成仍需网络支持，以确保数据新鲜度和场景多样性。

Q：该模型是否支持第三方车辆平台使用？
A：目前仅部署于小米汽车车载系统，不支持其他品牌或平台。模型与小米汽车的硬件架构和传感器配置深度耦合，短期内没有开放第三方接口的计划。

Q：模型生成的合成数据是否可用于商业用途？
A：合成数据生成功能主要用于小米汽车内部研发和测试，生成的场景数据属于小米汽车的知识产权。用户通过辅助驾驶学堂观看教学视频，但无法下载或导出原始数据用于商业用途。

Q：与Waymo世界模型相比，小米模型的核心优势是什么？
A：小米模型的核心优势在于“重建+生成”耦合架构，通过三维几何先验约束生成过程，在长时序生成稳定性和几何一致性方面表现更优。同时推理速度更快，单视角0.19秒/帧，适合车载端侧部署。

Q：模型是否支持用户自定义场景参数？
A：辅助驾驶学堂模块提供有限的可调参数，如天气强度、交通流量、时间段等。但底层场景几何结构和交通规则等核心参数由系统预设，用户无法完全自定义，以确保教学内容的准确性和安全性。

9. 项目地址

• 项目官网： https://JointWM.github.io/
• arXiv技术论文： https://arxiv.org/pdf/2605.18137