ACE-Ego – 大晓机器人联合港中文开源的具身操作 VLA 模型

1. ACE-Ego是什么

ACE-Ego是由大晓机器人联合香港中文大学MMLab共同开发的开源一脑多型具身操作VLA模型。该模型以6.0K+小时人类第一视角视频为核心进行预训练，通过相机空间动作与形态条件编码，使同一模型可适配不同机器人本体。在RoboCasa GR1 TableTop基准上以72.8%刷新SOTA，能稳定完成塑料袋打包、鞋盒装鞋等复杂零售操作，大幅降低多本体部署成本。

技术定位与领域： ACE-Ego属于具身智能领域的视觉-语言-动作（VLA）模型，专注于机器人操作任务。其核心创新在于实现了“一脑多型”跨本体泛化，即一个预训练模型无需重新训练即可适配不同形态的机器人硬件，解决了传统VLA模型因本体差异而需要单独训练、部署成本高昂的行业痛点。该模型面向零售、物流、家庭服务等长周期、强接触操作场景，填补了开源具身操作模型在复杂接触任务上的空白。

研发背景： 大晓机器人（ACERobotics）是国内专注于零售场景的机器人公司，港中文MMLab在计算机视觉与机器人学习领域拥有深厚积累。双方联合研发ACE-Ego的动机源于零售履约自动化中多本体部署的迫切需求：不同门店使用不同型号机器人，传统方法需为每种本体单独训练模型，成本高且难以规模化。团队依托自身在人类视频理解、机器人控制与开源生态建设方面的经验，提出了以人为中心的预训练范式，旨在通过人类日常操作视频建立通用的操作表征，降低对昂贵机器人演示数据的依赖。

核心价值： ACE-Ego的核心价值在于显著降低具身智能在多本体部署中的成本与门槛。通过“以人为中心预训练+少量机器人数据微调”的数据高效策略，用户只需采集少量目标机器人的演示数据即可完成技能迁移。同时，其相机空间动作与形态条件编码机制使得同一套模型权重可直接部署在不同机器人上，无需为每台机器人单独训练，部署成本降低一个数量级。在性能上，RoboCasa GR1 TableTop基准72.8%的成功率远超π0.5（37.0%）和GR00T-N1.6（47.6%），证明了其在复杂接触操作中的可靠性。

技术特点： 模型采用四大核心技术：以人为中心预训练，整合6.0K+小时人类第一视角视频与多本体机器人数据；相机空间动作，将动作预测统一到相机坐标系下，消除本体和视角差异；形态条件编码，通过编码机器人URDF结构、自由度等信息让模型理解不同本体的物理约束；可靠性感知训练，引入置信度评估机制过滤低置信度动作，提升长周期操作的安全性。这些技术共同支撑了ACE-Ego在跨本体泛化与复杂任务执行上的领先表现。

2. 主要功能

• 一脑多型适配： 同一VLA模型通过形态条件编码接口适配不同机器人本体，用户只需录入目标机器人的URDF结构、关节自由度与相机参数，即可复用预训练权重，无需为每台机器人单独训练。该功能大幅降低了多机器人协同场景的部署成本，尤其适合零售连锁门店使用不同型号机器人的场景。

• 复杂操作执行： 支持长周期、强接触的零售操作，如塑料袋打包、鞋子装入鞋盒、商品整理等精细任务。在RoboCasa GR1 TableTop基准中，模型以72.8%的成功率刷新SOTA，能够稳定完成包含多次抓取、推拉、折叠等子步骤的复合操作，展现出在强接触场景下的鲁棒性。

• 双臂协调控制： 在高难度双臂操作基准RoboTwin 2.0中实现90.62%的成功率，支持双手协作完成如开箱、装配等需要双机械臂同步协调的任务。模型通过相机空间动作统一输出双臂的末端轨迹，无需额外设计双臂协调策略。

• 以人为中心预训练： 整合6.0K+小时人类第一视角视频、多本体机器人演示数据与仿真数据进行预训练。利用人类日常操作视频建立通用操作表征，通过少量机器人数据微调即可实现技能迁移，大幅减少对昂贵机器人演示数据的依赖，数据效率显著提升。

• 相机空间动作统一： 将动作预测统一到相机坐标系下，消除不同机器人本体和相机视角差异带来的动作空间不一致问题。无论机器人本体是UR5、Franka还是GR1，模型输出的动作指令均在同一坐标系中，简化了跨本体迁移的工程复杂度。

• 可靠性感知校验： 引入可靠性评估机制，在训练过程中区分高置信度与低置信度动作预测。推理时，模型自动过滤低置信度动作，避免执行不可靠的操作，提升长周期复杂操作的安全性和稳定性，特别适用于需要连续执行数十个步骤的零售履约场景。

• 开源生态开放： 模型权重、训练代码、推理脚本及技术论文均向行业开源，采用Apache 2.0许可证，支持商业使用和二次开发。开源降低了具身智能研发门槛，吸引社区开发者贡献更多本体适配和场景扩展。

3. 如何使用

1. 环境要求与依赖安装： 克隆官方GitHub仓库（（链接待官方发布后更新） 2.0+与CUDA 11.8+。推荐使用NVIDIA A100或RTX 4090 GPU进行推理，显存建议不低于24GB。安装依赖：pip install -r requirements.txt，包括torch、transformers、open3d、opencv-python等。

2. 模型下载与加载： 从开源渠道（GitHub Releases或Hugging Face）获取ACE-Ego预训练权重文件。使用官方提供的加载脚本初始化VLA基础模型：from ace_ego import ACE_Ego; model = ACE_Ego.from_pretrained("ace-ego-base")。模型默认加载以人为中心预训练的权重，支持直接推理。

3. 本体配置与相机标定： 通过形态条件编码接口录入目标机器人的URDF文件、关节自由度（如6轴、7轴）与末端执行器类型。执行相机内参标定，获取RGB-D相机的内参矩阵与畸变系数，确保相机坐标系与机器人基座坐标系之间的转换关系正确。官方提供标定工具包，支持RealSense、Kinect等常见深度相机。

4. 推理执行与可靠性校验： 将机器人实时相机画面与自然语言指令（如“将鞋子装入鞋盒”）输入模型，调用model.infer(rgb_image, depth_image, instruction)输出相机空间下的末端执行器动作序列（包含位置、姿态与夹爪开合度）。启用可靠性感知模块：model.set_reliability_threshold(0.8)，过滤低置信度动作。最后通过逆运动学求解器将相机空间动作转换为目标机器人关节控制信号，驱动硬件执行操作。建议在仿真环境中先验证动作序列，再部署到真实机器人。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于零售、物流等需要多本体部署且关注复杂接触操作的场景，ACE-Ego是最优选择——其72.8%的SOTA性能、完全开源特性以及一脑多型适配能力，能显著降低部署成本。对于追求通用性且预算充足、不介意闭源API的团队，π0.5在标准操作任务上表现均衡，但无法跨本体泛化且权重受限。对于专注于人形机器人研究的团队，GR00T-N1.6在全身协调控制上更有优势，但零售操作能力较弱。RT-2作为早期VLA模型，虽然利用互联网知识，但缺乏针对接触操作的优化，且闭源，不推荐用于具身操作生产环境。

6. 编辑点评

ACE-Ego在具身操作VLA模型领域实现了多项突破性创新。技术创新性方面，其“以人为中心预训练+相机空间动作+形态条件编码”的技术组合，有效解决了多本体泛化这一行业核心难题。相比π0.5等模型依赖大规模机器人演示数据，ACE-Ego通过6.0K+小时人类日常操作视频建立通用表征，将数据获取成本降低了一个数量级，同时性能反而领先近一倍（72.8% vs 37.0%），这证明了人类视频预训练在机器人操作任务中的巨大潜力。可靠性感知机制的引入，也填补了开源VLA模型在安全校验方面的空白。

实用价值方面，ACE-Ego的完全开源（Apache 2.0）和一脑多型能力，使其非常适合零售连锁、物流仓库等需要部署多台不同型号机器人的场景。用户无需为每台机器人单独训练模型，只需通过形态条件编码接口录入URDF即可复用同一权重，部署效率提升显著。同时，模型在塑料袋打包、鞋盒装鞋等强接触任务上的稳定表现，意味着它可以直接应用于真实的零售履约生产线。

适用人群定位清晰：机器人公司、具身智能研究团队、零售自动化集成商。对于学术研究者，ACE-Ego提供了完整的预训练代码和基准，便于在此基础上探索新的泛化方法；对于工业用户，其开源许可证支持商业使用，且推理流程工程化程度较高。

未来发展潜力巨大。当前模型主要针对零售操作优化，但核心技术框架（人类视频预训练+形态条件编码）天然适用于其他领域，如家庭服务、工业装配等。随着社区贡献更多本体适配和数据扩展，ACE-Ego有望成为具身操作领域的通用基础模型。不过，其在双臂通用场景的泛化性和硬件门槛仍需进一步优化。

7. 应用场景

• 零售履约： 在超市、便利店等场景中，ACE-Ego可驱动机器人完成商品整理、塑料袋打包、鞋盒装鞋等线下零售操作自动化。模型通过人类视频预训练，能够模仿店员的操作习惯，在强接触任务中保持稳定，替代人工完成重复性打包工作。

• 物流仓储： 仓库内物品分拣、装箱、码垛等需要强接触操作的物流环节。ACE-Ego的双臂协调能力（RoboTwin 2.0成功率90.62%）使其能够双手协作搬运不规则物品，通过相机空间动作统一输出，无需为不同货架高度调整模型。

• 家庭服务： 家庭环境中的物品收纳、整理、简单清洁等日常家务操作辅助。ACE-Ego的一脑多型特性使其可适配不同家庭服务机器人（如轮式、双臂人形），用户只需一次部署即可覆盖多个房间的不同机器人。

• 商业服务： 商场、酒店、餐厅等场景中的物品搬运、陈列维护与台面整理。模型支持自然语言指令输入，服务员可直接说“将花瓶移到窗台”，机器人即可理解并执行，降低编程门槛。

• 工业制造： 生产线上的零部件装配、工具取放、物料转移等精细工业操作。ACE-Ego的可靠性感知机制确保在长周期装配任务中不会因动作错误导致产品损坏，同时通过少量工业演示数据微调即可适配特定产线。

8. 常见问题FAQ

Q：ACE-Ego需要什么样的硬件才能运行？
A：推荐使用NVIDIA A100或RTX 4090 GPU，显存不低于24GB，系统需支持CUDA 11.8+。CPU需具备16核以上，内存建议32GB。对于实时控制场景，推理延迟需控制在50ms以内，消费级显卡（如RTX 3060）可能无法满足要求。

Q：ACE-Ego是否支持非零售场景，比如家庭服务或工业操作？
A：模型基于6.0K+小时人类视频预训练，这些视频包含大量日常操作（如整理、抓取、推拉），因此对家庭服务场景有较好的泛化能力。工业操作需要采集少量目标任务的演示数据进行微调，官方提供微调脚本，通常几十条数据即可。

Q：人类第一视角视频数据从哪里获取？
A：ACE-Ego的开源版本不包含原始视频数据，但预训练权重已基于该数据训练完成。用户无需自行采集人类视频，直接使用预训练权重即可。如需复现预训练流程，可参考技术论文中的数据采集方案，但建议直接使用官方权重进行微调。

Q：如何将ACE-Ego适配到我的机器人本体上？
A：通过形态条件编码接口，录入机器人的URDF文件（描述关节结构）、自由度数量、末端执行器类型及相机参数。官方提供示例脚本，支持常见机器人如UR5、Franka Emika Panda、GR1等。对于新型机器人，需手动编写URDF并标定相机。

Q：模型推理速度如何？能否用于实时控制？
A：在A100 GPU上，单帧推理延迟约30-50ms（取决于输入分辨率），可以满足大多数机器人实时控制需求（通常要求<100ms）。在RTX 4090上延迟约60-80ms。建议使用TensorRT或ONNX优化进一步加速。

Q：ACE-Ego与π0.5相比，主要优势是什么？
A：ACE-Ego的核心优势在于一脑多型跨本体泛化（π0.5需单独微调）、完全开源（π0.5闭源）、以及更高的零售操作性能（72.8% vs 37.0%）。但π0.5在流匹配动作生成上更平滑，且预训练数据规模更大，适合通用性要求高且不介意闭源的场景。

9. 项目地址

• 项目官网： https://acerobotics-vla.github.io/ACE-Ego/
• GitHub 仓库： https://github.com/ACERobotics-VLA/ACE-Ego-0
• 技术论文： https://acerobotics-vla.github.io/ACE-Ego-0/paper.html