Xiaomi-Robotics-U0 – 小米推出的统一具身合成模型

1. Xiaomi-Robotics-U0是什么

Xiaomi-Robotics-U0 是小米推出的 380 亿参数统一具身合成模型，基于世界基础模型持续训练，联合优化文生图、图像编辑、具身场景生成、具身迁移及具身视频生成五大任务。该模型是首个支持跨多种机器人形态的高质量多视角场景生成模型，在具身场景生成与迁移的人工评估中超越 GPT-Image-2.0，在 World Arena 具身视频生成榜单排名第一，并将 π0.5 在真实世界操控任务的分布外成功率从 36.9% 提升至 63.2%。

技术定位与领域： Xiaomi-Robotics-U0 属于具身智能与多模态生成交叉领域，定位于统一具身合成世界模型。与传统的端到端机器人控制模型（如 π0.5）不同，该模型专注于为下游策略学习生成高质量、多样化的合成操作数据，解决真实机器人数据采集成本高、场景受限的核心痛点。

研发背景： 该模型由小米机器人团队研发，基于 EMU3.5 架构初始化。研发动机源于具身智能领域普遍面临的数据瓶颈——真实机器人操作数据采集周期长、标注成本高、场景多样性不足，导致策略模型的泛化能力受限。Xiaomi-Robotics-U0 旨在通过生成式方法为机器人训练提供可扩展的合成数据引擎。

核心价值： 该模型首次将基础图像/视频生成能力与具身生成能力统一在单一自回归框架内，避免了传统两阶段训练中视觉知识的灾难性遗忘。其生成的具身场景和视频可直接用于提升下游策略模型的分布外泛化能力，经测试将 π0.5 在未见场景中的成功率提升了 26.3 个百分点。

技术特点： 采用统一自回归框架，所有模态（文本、图像、视频）共享离散词表进行 next-token 预测。引入 FlashAR+ 推理加速技术，在 1024×1024 分辨率下图像生成速度提升 82.9 倍。结构化控制分解机制将场景解耦为五个独立维度，支持细粒度的可扩展编辑。

2. 主要功能

• 文生图生成： 支持高质量文本到图像合成，在生成过程中保留基础世界模型（如 EMU3.5）的视觉知识和语义理解能力。用户输入自然语言描述即可生成 1024×1024 分辨率的高保真图像，适用于机器人场景的视觉预演和概念设计。

• 图像编辑： 提供 Any-to-Image 编辑能力，支持相机视角控制、时间轴控制、结构提取等细粒度操作。用户可提供一至三张参考图像配合文本指令，对生成结果进行精确修改，无需重新生成整个场景。

• 具身场景生成： 根据机器人形态描述（如单臂、双臂、轮式）和结构化场景文本，生成严格满足多视角一致性和几何连贯性的初始观察画面。这是首个支持跨多种机器人形态的高质量多视角场景生成功能。

• 具身迁移： 在保持多视角一致性和交互动态的前提下，实现跨场景的结构化可控迁移。用户可指定目标场景描述（如改变工作台布局、光照条件或背景环境），模型自动调整场景元素而不破坏操作交互的物理合理性。

• 具身视频生成： 支持零样本多视角具身视频生成，将静态场景自回归展开为 15 至 25 帧时序连贯的机器人操作视频。该功能无需针对特定任务进行微调，可直接生成包含完整操作过程的动态序列。

• 数据引擎应用： 生成的具身场景或视频序列可直接输入下游机器人策略网络（如 π0.5），用于提升真实世界操控任务的分布外泛化能力。实验表明，使用该模型生成的合成数据可将策略成功率从 36.9% 提升至 63.2%。

• 子任务-子目标交错学习： 通过 HDBSCAN 聚类对机器人轨迹进行子任务分解，生成交错的图像-文本序列，捕捉长程任务进展和细粒度交互动态。该功能使模型能够理解复杂操作任务中的阶段性目标。

• 推理加速（FlashAR+）： 引入反对角线并行解码的垂直预测头，结合 vLLM 优化，在 1024×1024 分辨率下图像生成速度提升 82.9 倍。该功能显著降低了大规模生成任务的计算成本，使实时或近实时生成成为可能。

3. 如何使用

1. 环境配置： 访问小米机器人官网下载模型权重与推理代码。硬件环境需配置支持 CUDA 的高性能 GPU（推荐 NVIDIA A100 或 H100 系列），显存建议不低于 80GB。软件环境需安装 Python 3.8+、PyTorch 2.0+ 及 vLLM 推理框架。操作系统建议使用 Ubuntu 20.04 或更高版本。

2. 模型加载： 基于 EMU3.5 架构初始化并加载 Xiaomi-Robotics-U0 的 380 亿参数检查点。调用 IBQ Tokenizer 处理多模态输入序列，该 Tokenizer 支持 16×16 空间压缩，可将高分辨率图像高效编码为离散词表。加载命令示例：

   python load_model.py --checkpoint_path /path/to/checkpoint --tokenizer ibq
   

3. 文生图生成： 输入结构化文本描述，通过标准自回归 next-token 预测直接生成 1024×1024 分辨率的高质量图像。建议使用详细描述以提升生成精度，如"一个工业机械臂在金属工作台上抓取银色齿轮，背景为灰色墙壁，左侧光源"。

4. 具身场景生成与迁移： 输入机器人形态描述（如"UR5e 单臂机械臂"）与结构化场景文本，模型输出多视角一致的初始观察画面。进行迁移时，需提供当前多视角观察图像与目标场景描述，模型在保持交互动态的前提下生成迁移后的多视角 RGB 图像。建议使用 3-5 个视角的输入以获得最佳一致性。

5. 具身视频生成： 提供初始观察帧与任务指令（如"将红色方块从位置 A 移动到位置 B"），模型通过自回归展开生成 15 至 25 帧时序连贯的操作视频。可通过调整温度参数（推荐 0.7-0.9）控制生成的多样性。

6. 推理加速配置： 启用 FlashAR+ 垂直预测头与 vLLM 优化需在推理脚本中添加参数 --use_flashar --enable_vllm。该配置在 1024×1024 分辨率下可实现 82.9 倍的生成速度提升，建议在批量生成场景时默认启用。

7. 数据引擎应用： 将生成的具身场景或视频序列保存为标准格式（如 MP4 或图像序列），直接输入下游机器人策略网络。建议对生成数据进行自动化质量筛选（如检查多视角一致性分数），以进一步提升训练效果。

注意事项： 模型推理对显存要求较高，建议使用多 GPU 分布式推理。首次加载模型权重需较长时间（约 10-15 分钟），后续推理可通过缓存加速。生成的视频帧数可通过 --num_frames 参数调整，但建议不超过 25 帧以保证时序连贯性。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于需要为机器人策略训练生成合成数据的研究团队，Xiaomi-Robotics-U0 是当前最具针对性的选择。其统一框架在保留通用视觉知识的同时，提供了多视角一致性和结构化控制能力，特别适合跨形态场景迁移和分布外数据增强。π0.5 更适合已具备充足真实数据的端到端控制任务，其优势在于直接生成动作指令而非合成数据。GPT-Image-2.0 在通用图像生成质量上表现优异，但缺乏具身场景生成和多视角一致性支持，不适用于机器人数据合成场景。对于需要同时进行通用图像生成和具身数据生成的团队，Xiaomi-Robotics-U0 的联合训练特性使其成为更高效的选择。

6. 编辑总结

Xiaomi-Robotics-U0 在具身智能领域展现了重要的技术创新价值。其核心贡献在于将基础生成模型与具身生成任务统一在单一自回归框架内，通过联合持续训练策略有效避免了传统两阶段方法中视觉知识的灾难性遗忘。从技术指标来看，该模型在 VLM 基准上保持高分（ERQA 40.8、SEED 78.6），同时具身场景生成能力超越 GPT-Image-2.0，验证了统一框架的可行性。FlashAR+ 推理加速技术将 1024×1024 分辨率图像生成速度提升 82.9 倍，解决了大规模自回归模型在实际部署中的效率瓶颈。

从实用价值角度分析，Xiaomi-Robotics-U0 作为数据引擎的定位十分清晰。将 π0.5 在真实世界操控任务的分布外成功率从 36.9% 提升至 63.2% 的实验结果，直接证明了生成式数据在机器人学习中的实用价值。结构化控制分解机制（工作空间、任务对象、光照等五个维度）为数据增强提供了细粒度的操控能力，这在现有开源方案中较为罕见。

该模型主要面向具身智能研究团队、机器人算法工程师以及需要大规模合成训练数据的 AI 实验室。对于个人开发者或小团队，380 亿参数带来的硬件门槛可能构成使用障碍。未来，如果小米能推出轻量级版本或提供云端推理服务，将大幅扩大其用户覆盖面。在技术发展方向上，将视频生成帧数扩展至更长序列（如 50-100 帧），以及支持更复杂的多机器人协同场景生成，将是提升模型实用性的关键突破点。

7. 应用场景

• 机器人数据合成： 为真实机器人训练生成大规模、多样化的合成操作轨迹，解决真实数据收集成本高、场景受限的问题。研究团队可输入机器人形态描述和任务指令，批量生成包含多视角观察和时序操作视频的合成数据集，用于预训练或数据增强。

• 跨形态场景迁移： 将同一操作任务从一种机器人形态（如单臂）迁移到另一种形态（如双臂），保持场景一致性和交互动态。机器人厂商在开发不同型号产品时，可利用该功能快速生成适配各形态的训练数据，减少重复采集成本。

• 仿真环境构建： 快速生成高质量多视角机器人操作场景，用于仿真平台训练和策略验证。开发者可将生成的场景直接导入 MuJoCo、Isaac Gym 等仿真环境，加速策略模型的迭代测试周期。

• 操作策略增强： 利用生成的分布外数据提升机器人策略的泛化能力。实验已验证该模型可将 π0.5 在未见场景中的成功率提升 26.3 个百分点，实际应用中可针对性地生成策略模型表现较差的边缘场景数据，进行定向增强。

• 具身智能研究： 作为世界基础模型，支持长程任务规划、子任务分解和交互动态预测等基础研究。研究人员可利用模型的子任务-子目标交错学习能力，分析复杂操作任务中的阶段性目标结构，推动具身智能的理论发展。

8. 常见问题FAQ

Q：Xiaomi-Robotics-U0 与端到端控制模型（如 π0.5）有什么区别？
A：Xiaomi-Robotics-U0 是生成式世界模型，专注于为下游策略模型生成合成训练数据，而非直接控制机器人。它生成的多视角场景和操作视频可作为 π0.5 等策略模型的输入，提升其在未见场景中的泛化能力。两者是互补关系而非替代关系。

Q：模型对硬件配置有什么具体要求？
A：由于 380 亿参数规模，推荐使用 NVIDIA A100（80GB）或 H100 系列 GPU，建议显存不低于 80GB。多 GPU 分布式推理可降低单卡负载。消费级显卡（如 RTX 4090 的 24GB 显存）无法完整加载模型。推理时建议使用 FlashAR+ 加速以减少计算开销。

Q：生成的具身视频质量如何，能否直接用于策略训练？
A：模型支持生成 15 至 25 帧的时序连贯操作视频，在 World Arena 具身视频生成榜单排名第一。实验表明，将生成的视频数据直接输入 π0.5 可将分布外成功率从 36.9% 提升至 63.2%，验证了其作为训练数据的有效性。建议对生成数据进行自动化质量筛选以进一步提升效果。

Q：模型是否支持中文输入？
A：当前官方文档和演示主要基于英文输入。由于模型基于 EMU3.5 架构，理论上支持多语言，但中文输入的生成质量和一致性尚未经过系统验证，建议优先使用英文描述以获得最佳效果。

Q：如何获取模型权重和推理代码？
A：模型权重已发布在 HuggingFace 的 XiaomiRobotics 组织下，推理代码可在小米机器人官网下载。两者均为开源发布，支持学术研究和商业应用。具体许可证条款请参考官网公告。

Q：结构化控制分解功能如何使用？
A：该功能将场景解耦为工作空间、任务对象、无关对象、光照、背景五个独立维度。使用时需在输入中明确指定各维度的参数（如光照强度、背景类型等），模型会生成符合所有约束条件的场景。目前该功能的使用文档尚不完善，建议参考技术论文中的实验设置。

9. 项目地址

• 项目官网： https://robotics.xiaomi.com/xiaomi-robotics-u0.html
• HuggingFace 模型库： https://huggingface.co/collections/XiaomiRobotics/xiaomi-robotics-u0
• arXiv 技术论文： https://arxiv.org/pdf/2607.11643