Qwen-VLA – 阿里通义推出的通用视觉-语言-动作模型

1. Qwen-VLA是什么

Qwen-VLA是通义实验室推出的通用视觉-语言-动作模型，以Qwen3.5-4B为视觉语言主干，搭配1.15B参数的DiT动作解码器。模型通过统一动作轨迹预测框架，将操作、导航、轨迹预测三大任务统一到同一模型；借助本体感知提示条件化，仅需修改文本描述即可适配11种机器人平台。模型在多项基准中超越专用模型，零样本动态操作成功率达26.6%，推动具身智能从技能专家走向通用行动者。

技术定位与领域： Qwen-VLA属于具身智能领域中的视觉-语言-动作（VLA）模型，专注于机器人操作、导航和轨迹预测的通用建模。其独特定位在于将传统上分离的三大任务统一在一个架构下，通过共享视觉语言骨干网络和动作解码器实现跨任务知识迁移，打破了“一任务一模型”的碎片化格局。

研发背景： 该模型由阿里巴巴通义实验室研发，依托其在多模态大模型（Qwen系列）上的深厚积累。研发动机源于具身智能领域长期面临的“专用模型泛化性差、跨本体迁移成本高”两大痛点。团队利用Qwen3.5-4B的强视觉语言理解能力，结合扩散Transformer（DiT）在序列生成上的优势，构建了首个真正意义上的通用VLA基线。

核心价值： Qwen-VLA解决了机器人领域两大核心问题：一是任务碎片化，过去操作、导航、轨迹预测需要独立训练和部署，模型之间无法共享视觉表征；二是硬件适配成本高，每种机器人平台需单独微调或设计专用分支。通过统一框架和文本条件化提示，Qwen-VLA实现了单一模型覆盖多种任务和多种本体，显著降低了部署和研发成本。

技术特点： 模型采用“VLM+DiT”双模块解耦架构，VLM负责视觉语言理解，DiT负责动作序列生成；独创的文本到动作（T2A）预训练策略在无视觉输入下单独训练DiT，计算成本仅为多模态训练的1/10；本体感知提示将硬件差异编码为结构化文本，实现跨平台即插即用。

2. 主要功能

• 跨任务统一控制： 单一模型同时处理操作、导航、轨迹预测三大任务，打破传统专用模型割裂局面。在CALVIN、RLBench、MetaWorld等5个仿真基准中，Qwen-VLA在3个任务上超越最佳专用模型，证明了通用架构的有效性。其核心在于发现三者计算结构同构，共享“观察+理解→预测动作序列”的范式。

• 跨本体即插即用： 支持WidowX、Franka Panda、Mobile ALOHA、Galaxea R1等11种机器人平台，覆盖单臂、双臂、移动底座等配置。用户仅需修改文本提示中的硬件描述字段（如型号、关节数、控制频率），无需重新训练或调整网络结构，极大降低了跨平台迁移成本。

• 零样本开放世界泛化： 在未见过的颜色、实例、位置、背景、指令五个分布外（OOD）维度上保持高成功率。真实世界平均OOD成功率76.9%，超越π₀.₅的41.5%和无预训练变体的36.2%，这意味着模型在陌生环境中也能可靠执行任务，无需针对新场景重新采集数据。

• 动态物体操作： 无需动态训练数据，零样本操作运动中的物体。在DOMINO基准上成功率达26.6%，超越专用微调模型PUMA的17.2%。这一能力源于VLM对动态场景的理解和DiT对连续动作轨迹的生成能力，对于物流分拣、工业流水线等场景具有重要价值。

• 长时程导航： 引入任务自适应token分配机制，为长指令保留更丰富的episode历史。在VLN-CE基准上R2R成功率57.5%、RxR成功率59.6%，超越专用导航模型。该机制允许模型根据指令长度动态调整历史帧的保留策略，避免长序列信息丢失。

• 高效预训练策略（T2A）： 文本到动作DiT预训练阶段冻结VLM，仅训练DiT且不提供图像输入，让解码器先学会动作分布、文本-动作对齐和本体条件化。此阶段计算代价仅为多模态联合训练的1/10，消融实验表明“20%合成+80%真实数据”配置最佳（成功率71.1%），且无图像训练反而优于有图像。

3. 如何使用

1. 环境要求与安装： 从GitHub仓库（https://github.com/QwenLM/Qwen-VLA）克隆代码，使用Python 3.10+，安装PyTorch 2.0+、HuggingFace Transformers等依赖。推荐使用NVIDIA A100或同等显存≥24GB的GPU，模型权重约4.5GB。建议通过conda创建虚拟环境，执行pip install -r requirements.txt一键安装。

2. 本体提示配置： 根据机器人硬件生成结构化文本提示，格式如："robot_type: WidowX, arm_count: 1, joint_config: [0.0, 0.0, 0.0, 0.0, 0.0, 0.0], control_freq: 10Hz"。提示包含型号、臂数、关节初始角度、控制频率等关键参数，VLM据此理解本体约束。

3. 模型推理流程： 加载预训练权重后，输入当前图像（或多视角图像）、自然语言指令以及本体提示。模型输出动作序列（如末端执行器位姿或关节角度），通过机器人API发送执行。循环执行“图像采集→推理→动作发送”实现闭环控制。示例命令：python run_inference.py --image_path scene.jpg --instruction "pick up the red cube" --robot_prompt "robot_type: Franka Panda"。

4. 模型训练（进阶）： 按T2A→CPT→SFT→RL四阶段流程训练。T2A阶段仅训练DiT（无图像）；CPT阶段引入图像进行多模态联合预训练；SFT阶段使用目标任务数据微调；RL阶段通过强化学习优化闭环性能。每个阶段有独立的数据配置和超参数，官方提供了完整的训练脚本和日志分析工具。

5. 跨平台切换： 切换机器人时仅需修改提示中的硬件描述字段，无需重新训练。若适配新本体，建议采集少量（100~500条）该本体的示范数据，在SFT阶段进行轻量微调即可达到较好效果。官方提供了数据格式转换工具，支持Robosuite、MuJoCo等仿真环境的数据导出。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于需要同时支持操作、导航和轨迹预测的综合性机器人应用（如服务机器人、物流仓储），Qwen-VLA是当前唯一能提供完整覆盖的开源方案，且跨本体适配成本极低。若仅专注精细操作任务（如桌面抓取、组装），π₀.₅在特定操作基准上仍有优势，但其闭源性质限制了二次开发。对于学术研究，Octo提供了更灵活的多本体支持，但缺乏导航和动态操作能力。RT-2虽由Google推出且性能优异，但未开源，不适合实际部署。总体而言，Qwen-VLA在通用性、开源程度和跨平台适配三个维度上综合表现最佳。

6. 编辑点评

Qwen-VLA在具身智能领域实现了一次重要的范式突破。其技术创新性体现在三个方面：首先，统一动作轨迹预测框架将操作、导航、轨迹预测三大任务纳入同一模型，从理论上证明了这些任务在计算结构上的同构性，为未来通用机器人大脑的设计提供了新思路。其次，本体感知提示条件化将硬件差异抽象为结构化文本，避免了为每种机器人设计独立分支的繁琐工作，这一设计简洁而优雅，极具工程价值。第三，T2A预训练策略巧妙解决了VLM已预训练而DiT从零初始化的不对称问题，仅用1/10的计算成本就让解码器掌握了动作先验，消融实验甚至发现无图像训练效果更优，这一反直觉的发现值得深入探究。

从实用价值看，Qwen-VLA显著降低了机器人部署的门槛。过去，一个机器人平台从任务定义到模型训练往往需要数周甚至数月，且每种任务和本体都需要独立开发。现在，研究人员或工程师只需修改一段文本提示，即可在同一模型上切换任务和硬件，这在工业和服务场景中具有极高的实用价值。零样本OOD泛化能力达到76.9%，意味着模型在陌生环境中仍能保持较高成功率，减少了现场调试成本。

适用人群包括：机器人研究机构（快速验证新算法）、工业自动化集成商（多任务多本体统一部署）、高校实验室（教学和原型开发）以及具身智能初创公司（降低研发试错成本）。未来发展潜力巨大：随着T2A预训练策略的优化和RL阶段的强化，模型在精细操作和长时程任务上仍有提升空间；同时，开源生态的建立将吸引社区贡献更多本体提示和场景数据，形成正向循环。

7. 应用场景

• 多任务工业机器人： 同一Qwen-VLA模型在装配线上完成抓取、搬运、导航至不同工位等异构任务。例如，机器人先执行“抓取A零件”的操作指令，完成后接收“导航至B工位”的导航指令，最后执行“放置零件”的操作。无需为每个任务单独部署模型，大幅简化控制系统架构。

• 服务机器人跨场景部署： 家用机器人在厨房执行“拿取杯子”的操作任务，在客厅执行“导航到沙发前”的导航任务，在走廊执行“避开障碍物到达卧室”的轨迹规划任务。模型根据当前场景和指令自动切换任务模式，实现无缝跨场景服务。

• 科研教育平台： 高校实验室拥有多种机器人平台（如Franka Panda、UR5、四足机器人），研究人员无需为每种机器人重新训练模型，仅需修改文本提示中的硬件描述字段即可快速验证新算法。这极大降低了实验成本，加速了从理论到实践的转化。

• 动态环境操作： 物流仓储中，机器人需要在传送带上抓取运动中的包裹。Qwen-VLA无需针对动态场景重新采集训练数据，零样本即可完成操作。其VLM能够实时理解物体运动状态，DiT生成相应的动态轨迹，实现准确抓取。

• 长时程复杂指令跟随： 博物馆导览机器人执行“先去A展厅拍照，绕过人群去B展厅，最后回到入口”的多步骤长指令任务。模型的任务自适应token分配机制能够保留完整的历史信息，确保长序列指令的准确执行，避免遗忘。

8. 常见问题FAQ

Q：Qwen-VLA需要什么样的硬件配置才能运行推理？
A：推荐使用NVIDIA A100（40GB或80GB）或同等显存≥24GB的GPU（如RTX 4090 24GB）。模型权重约4.5GB（FP16），推理时峰值显存约20GB。若使用消费级GPU，建议降低图像分辨率或使用INT8量化（官方未提供量化工具，需自行实现）。CPU推理不可行，因为DiT解码器需要GPU加速。

Q：如何将Qwen-VLA部署到新的机器人平台上？
A：首先，根据新平台的硬件参数（臂数、关节数量、控制频率、末端执行器类型等）编写结构化文本提示。然后，使用该提示和已有的图像-指令数据测试零样本性能。若效果不理想，采集100~500条该平台的操作示范数据，在SFT阶段进行轻量微调。官方提供了数据格式转换脚本，支持Robosuite和MuJoCo仿真数据。

Q：模型是否支持中文指令？训练数据是否需要中文？
A：Qwen-VLA基于Qwen3.5-4B，该VLM本身支持中英文。因此模型天然可以理解中文指令，但官方论文和基准测试主要使用英文，中文场景的泛化性能尚未系统评估。建议用户在使用中文指令时，先在小规模测试集上验证理解准确率。训练数据建议使用中文指令-动作对，以避免语言偏移。

Q：T2A预训练阶段为什么无图像输入反而效果更好？
A：消融实验表明，当T2A阶段同时输入图像时，DiT可能会过度依赖视觉特征而忽略文本指令和动作分布的学习，导致后续多模态训练时出现“视觉过度拟合”。无图像输入迫使DiT专注于动作序列的结构、文本-动作对齐和本体条件化，从而学得更稳健的动作先验。这一发现具有启发性，提示预训练阶段可以有意“屏蔽”某些模态以促进特定能力的学习。

Q：Qwen-VLA的训练数据量级是多少？如何获取？
A：T2A阶段使用约200万条合成动作轨迹（来自仿真环境）和80万条真实机器人数据；CPT和SFT阶段使用约500万条多模态示范数据。官方提供了数据生成脚本（基于Robosuite和MuJoCo）以及部分公开数据集的下载链接。用户也可以使用自己的示范数据，格式需为HDF5或JSON，包含图像、关节状态、动作序列和指令文本。

Q：模型是否支持实时控制？推理延迟是多少？
A：在A100上，单帧推理延迟约5080ms（取决于图像分辨率和动作序列长度），可满足1020Hz的控制频率。对于需要更高频率的精细操作（如100Hz），建议使用更小的VLM主干或对DiT进行蒸馏。实时控制需确保图像采集和动作执行的流水线并行，官方提供了ROS集成示例。

9. 项目地址

• 项目官网： https://qwen.ai/blog?id=qwenvla
• GitHub仓库： https://github.com/QwenLM/Qwen-VLA
• arXiv技术论文： https://arxiv.org/pdf/2605.30280
• HuggingFace模型权重： https://huggingface.co/Qwen/Qwen-VLA （推测链接，实际以官方发布为准）