Orchard – 微软研究院开源的 Agentic AI 建模框架

1. Orchard是什么

Orchard 是微软研究院推出的开源 Agentic AI 建模框架，其核心是基于 Kubernetes 的 Orchard Env 环境服务，能够跨域复用沙箱进行数据蒸馏、强化学习 rollout 与评估。该框架已覆盖软件工程、浏览器导航和个人助理三大典型场景，并同时开源了训练数据与评估方法，为 Agent 研究提供了可复现的基础设施。

技术定位与领域： Orchard 属于 Agentic AI 建模与训练基础设施领域，面向需要统一环境、标准化训练流水线和可复现评估的 Agent 研究团队。与多数仅提供推理或简单编排的框架不同，Orchard 将环境服务、训练配方、数据协议和评估基准整合为一个完整体系，定位为“Agent 研究的操作系统层”。

研发背景： 由微软研究院（Microsoft Research）主导开发，团队在 Agent 系统、强化学习和软件工程自动化方面有深厚积累。研发动机源于现有 Agent 框架普遍存在环境碎片化、训练与部署环境错配、数据不开放等问题，导致研究成果难以复现和迁移。

核心价值： Orchard 解决了 Agent 研究中的三大痛点：一是跨领域环境统一，一套基础设施支撑代码、网页、桌面等多种任务；二是训练与部署环境一致，在真实 Harness 内直接训练消除错配；三是数据与评估完全开源，提供 107K 条 SWE 轨迹和 3,070 条 GUI 多模态 rollout 数据，使研究可复现。

技术特点： 采用 Kubernetes-native 环境层实现沙箱的并行创建与销毁，平均命令执行延迟仅 0.28 秒；内置 Credit-Assignment SFT 和 Balanced Adaptive Rollout 等创新训练机制；通过 Value Model 重排序用小模型（3B–4B 参数）达到接近大模型（70B+）的性能水平，显著降低训练和推理成本。

2. 主要功能

• 跨域统一环境服务（Orchard Env）： 基于 Kubernetes 构建的沙箱生命周期管理服务，提供命令执行、文件 I/O、网络策略控制及 REST API。一套基础设施即可支撑代码执行、网页渲染、桌面操作和生产力工作流，避免为每个领域重复搭建环境。

• 三大领域训练配方： Orchard-SWE 专攻代码修复，Orchard-GUI 处理视觉网页导航，Orchard-Claw 面向邮件、日历等日常生产力任务。每个配方均提供完整的 SFT + RL 训练流水线，研究人员可直接复用或在其基础上调整。

• 真实 Harness 内训练： 支持直接在 Codex、OpenClaw、ZeroClaw 等真实部署 harness 中完成端到端训练与评估。这一设计消除了训练环境与部署环境之间的不一致，使模型在真实场景中的表现更可预测。

• 开源数据集与评估协议： 释放 107K 条 SWE 轨迹、3,070 条 GUI 多模态 rollout 数据，并附带对应的评测基准与可复现配方。研究者可直接使用这些数据训练或评估自己的 Agent 模型，无需从零收集。

• Credit-Assignment SFT： 在软件工程领域，系统不丢弃部分失败的轨迹，而是从有效片段中提取监督信号，将可用训练数据量最大化。这尤其适合代码修复中大量部分成功的情况，提升数据利用效率。

• Balanced Adaptive Rollout + 密集奖励： 针对强化学习中稀疏反馈的难题，采用平衡自适应 rollout 策略来捕获稀少成功信号，同时引入 on-policy 蒸馏与基于规则的流程奖励模型，为中间步骤提供密集指导，加速收敛。

• Value Model 重排序： 利用 20 次历史实验的 rollout 轨迹训练一个 4B 参数的价值模型，在推理阶段对多个候选解进行评分并选取最优。该方法将 Orchard-SWE 在 SWE-bench Verified 上的成绩从 69.7% 提升至 73.0%，体现了小模型加价值排序的潜力。

• Harness-Agnostic 代理记录： 轻量级代理记录 harness 自身的模型调用并重构为训练样本，使任何 RL 代码库均可对接任何 harness，无需修改环境镜像。这大大降低了将新 harness 集成到训练流水线中的工程成本。

3. 如何使用

1. 环境要求： 需要一台可访问 Kubernetes 集群的机器（推荐使用 Azure AKS 进行快速部署，也支持非 Azure 集群），操作系统建议为 Linux。本地开发需安装 Python 3.8+ 和 pip，并确保网络可拉取 Docker 镜像。

2. 安装 SDK： 执行 pip install -e "orchard_env[dev]" 安装 Orchard Env 的 Python SDK。安装完成后，配置环境变量 SANDBOX_BASE_URL（指向编排器端点）和 SANDBOX_API_KEY（访问密钥）。

3. 快速调用沙箱： 使用 SandboxClient 上下文管理器创建沙箱并执行命令。支持同步与异步模式，可进行文件读写、git patch 应用及 PTY 会话。示例代码：

   from orchard_env import SandboxClient
   with SandboxClient() as client:
       result = client.run_command("echo hello")
       print(result.stdout)
   

4. 部署编排器： 通过 Azure AKS 提供的四个脚本（provision、build、deploy、smoke-test）约 20 分钟即可完成多副本编排器部署。若使用非 Azure 集群，需手动配置 Kubernetes 命名空间、存储类和网络策略，参考 GitHub 仓库中的 deploy/ 目录。

5. 运行训练配方： 进入 GitHub 仓库的 trainer/slime/ 目录，根据需求选择 Orchard-SWE、Orchard-GUI 或 Orchard-Claw 的配置文件。执行 python run.py --config config_swe.yaml 即可启动完整的 SFT + RL 训练流程。训练过程中会自动调用 Orchard Env 创建沙箱进行 rollout 和评估。

6. 注意事项： 训练大规模 Agent 时建议使用 Spot 实例降低成本；Orchard Env 默认使用 Redis 分布式锁协调沙箱，需提前部署 Redis 服务；不同领域的数据集需从 HuggingFace 单独下载，并放置在指定路径。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于需要从零训练 Agent 模型并希望在代码、网页、生产力等多个领域统一验证的研究团队，Orchard 是最完整的选择，其内置训练流水线和开源数据可大幅降低起步成本。如果团队主要关注软件工程领域的代码修复，且更看重社区活跃度和快速上手，OpenHands 是成熟的选择，但需自行解决训练环境问题。对于需要快速构建多 Agent 协作系统的应用开发者，CrewAI 的编排能力更直接，但缺乏训练和统一环境支持。Orchard 适合有 Kubernetes 运维能力、追求长期复现性和成本控制的机构；若仅需短期原型验证，AutoGPT 或 CrewAI 搭配商业 API 可能更便捷。

6. 编辑总结

Orchard 在 Agentic AI 建模领域做出了几项具有实质意义的创新。首先，它通过 Kubernetes-native 的环境层统一了代码、网页、桌面等多个领域的沙箱服务，解决了长期存在的“环境碎片化”问题，使研究者无需为每个任务重复造轮子。其次，Credit-Assignment SFT 和 Balanced Adaptive Rollout 等训练机制在数据利用效率和稀疏奖励处理上给出了工程化的解决方案，尤其是价值模型重排序用小模型达到大模型性能的思路，为资源受限的研究团队提供了可行的路径。再者，Orchard 将训练数据、评估协议和训练配方全部开源，这在 Agent 领域尚属少见，直接提升了研究的可复现性。

从实用价值看，Orchard 的成本优势明显：自托管沙箱成本约为商业服务的 10%–50%，加上小模型带来的推理成本降低，使得大规模 Agent 训练不再依赖昂贵的商业 API。适用人群主要是具备 Kubernetes 运维能力的 Agent 研究团队、希望构建自有 Agent 训练平台的企业实验室，以及追求低成本复现前沿结果的学术机构。对于个人开发者或初创团队，部署和学习门槛可能偏高，但一旦搭建完成，后续的迭代效率会显著提升。

未来发展潜力方面，Orchard 的 Harness-Agnostic 设计使其容易对接新的任务场景，社区若能围绕这一框架积累更多领域的训练配方和数据，有望成为 Agent 研究的标准基础设施。微软研究院的持续投入和开源社区的逐步壮大将是其生态成长的关键。总体而言，Orchard 不是“又一个新的框架”，而是一次对 Agent 研究基础设施的系统性重构，其价值将在更多团队使用并贡献后进一步显现。

7. 应用场景

• 自动化软件工程： 在真实代码库中自主诊断 Bug、编写测试、生成补丁并通过验证。Orchard-SWE 可直接在 Codex 等 harness 内训练，适用于开源项目维护、企业内部代码审查以及持续集成中的自动修复流水线。

• 智能网页导航： 基于视觉理解自动操作浏览器完成订票、购物、信息检索等开放域任务。Orchard-GUI 以 4B 参数在三大网页基准上达到 68.4%，可作为 RPA 替代方案，适用于需要跨网站数据采集或表单自动填写的业务场景。

• 个人生产力助手： 跨邮件、日历、文档等工具执行复杂工作流，如自动安排会议、整理收件箱、生成报告。Orchard-Claw 在 ZeroClaw 下 pass@3 从 59.6% 提升至 73.9%，适合企业办公自动化。

• Agent 研究基础设施： 为学术与工业研究团队提供可复现、低成本的 Agent 训练与评估平台。研究者可直接使用开源数据和配方进行对比实验，或基于 Orchard Env 开发新的 Agent 算法，加速开源 Agentic AI 生态建设。

8. 常见问题FAQ

Q：Orchard 与 OpenHands 的核心区别是什么？
A：Orchard 是跨域建模框架，提供统一环境服务、训练流水线和开源数据，覆盖代码、网页、生产力三大领域；OpenHands 主要聚焦软件工程代码修复，侧重推理执行，训练能力需自行搭建。Orchard 更适合需要完整训练和评估体系的研究团队。

Q：部署 Orchard 需要什么样的硬件和软件环境？
A：需要 Kubernetes 集群（推荐 Azure AKS，也支持非 Azure 集群），以及 Python 3.8+。训练时建议使用 NVIDIA A100 或更高配置 GPU，但 Orchard 的价值模型和推理可在消费级显卡上运行。沙箱环境由集群自动分配，无需单独管理。

Q：Orchard 是否支持非 Azure 的 Kubernetes 集群？
A：支持，但官方提供的自动化脚本主要针对 Azure AKS。非 Azure 集群需手动配置 Kubernetes 命名空间、存储类、网络策略和 Redis 分布式锁，参考 deploy/ 目录中的 YAML 文件进行适配。

Q：如何获取 Orchard 开源的训练数据和模型权重？
A：训练数据（SWE 轨迹、GUI rollout 等）托管在 HuggingFace 数据集 microsoft/Orchard 下。模型权重目前未直接发布，但可通过运行训练配方自行训练得到；后续微软研究院可能发布预训练模型，请关注 GitHub 仓库更新。

Q：小模型（3B–4B）真的能达到大模型（70B+）的效果吗？
A：在特定基准上确实如此。Orchard-SWE 在 SWE-bench Verified 上达到 73.0%，接近 GPT-4 等前沿模型的水平。这得益于 Credit-Assignment SFT 更高效地利用训练数据、Balanced Adaptive Rollout 解决稀疏奖励问题，以及价值模型重排序优化推理选择。但在更开放或知识密集的任务上，小模型仍可能受限于参数量。

Q：Orchard 的训练配方是否可以用于其他领域的 Agent？
A：可以，但需要适配。Orchard 的训练流水线是 Harness-Agnostic 的，理论上只需实现新的 harness 并注册到系统中，即可复用 SFT + RL 流程。目前官方提供了 SWE、GUI、Claw 三个领域的配方作为参考。

9. 项目地址

• 项目官网（微软博客）： https://www.microsoft.com/en-us/research/blog/orchard-an-open-framework-for-scalable-agentic-ai/
• GitHub 仓库： https://github.com/microsoft/Orchard
• HuggingFace 数据集： https://huggingface.co/datasets/microsoft/Orchard
• arXiv 技术论文： https://arxiv.org/pdf/2605.15040