Polar – 英伟达开源的智能体强化学习训练框架

1. Polar是什么

Polar是英伟达（NVIDIA）推出的开源智能体强化学习（Agentic RL）训练框架，其核心创新在于无需修改现有智能体框架内部代码，即可将其接入GRPO等强化学习算法进行训练。该框架通过在LLM API调用边界放置代理，捕获token级交互数据并重建训练轨迹，使Codex CLI、Claude Code、Qwen Code、Pi等复杂代码智能体harness直接变为可训练的RL环境。Polar以“Rollout-as-a-Service”为设计理念，解耦了训练与执行过程，为大规模分布式异步RL训练提供了高效、可扩展的基础设施支撑。

技术定位与领域： Polar属于人工智能基础架构层中的强化学习训练框架，专注于智能体（Agent）的强化学习训练场景。它并非直接提供训练算法，而是作为一套基础设施，将任意基于LLM API的智能体系统转换为可训练的RL环境，填补了现有框架在“黑盒智能体”集成方面的空白。

研发背景： Polar由英伟达（NVIDIA）的NeMo团队开发，该团队在大型语言模型训练和部署方面拥有深厚的技术积累。研发动机源于当前智能体系统（如代码编程助手、多轮工具使用Agent）日益复杂，但传统强化学习训练框架要求将智能体重写为特定的接口（如Gymnasium风格），这带来了高昂的集成成本和兼容性难题。Polar旨在解决这一痛点，让开发者无需修改现有智能体源码即可进行RL训练。

核心价值： Polar解决了智能体强化学习训练中“集成难、兼容差、效率低”的核心问题。其核心价值在于实现了零侵入集成，任何基于LLM API的智能体（包括闭源二进制程序）都可以直接接入RL训练流程。同时，通过异步架构和Token保真轨迹重建技术，大幅提升了训练效率和数据质量，使大规模智能体RL训练成为可能。

技术特点： Polar采用黑盒代理范式，将LLM API流量作为rollout边界，保持harness原生执行逻辑不变。其核心技术包括Token保真轨迹重建（直接从推理后端获取token IDs和log probabilities，避免重编码漂移）、Prefix Merging算法（减少trainer更新次数，训练时间缩短约5.39倍）以及异步分阶段执行架构（CPU密集型运行时准备不阻塞GPU训练）。

2. 主要功能

• API代理捕获： 在智能体与推理服务器之间插入兼容Anthropic、OpenAI、Google风格的API代理，透明转发请求并记录prompts、sampled tokens、log probabilities和responses。这一机制实现了对LLM API调用的无感拦截，为后续轨迹重建提供了原始数据基础。

• 多策略轨迹重建： 提供per-request（逐请求）和prefix merging（前缀合并）两种轨迹重建策略。逐请求策略将每次模型调用独立视为一条轨迹，适合简单场景；前缀合并策略则检测多轮对话中prompt的token-prefix关系，将append-only的对话链合并为更长的训练轨迹，显著减少trainer更新次数，提升训练效率。

• 异步服务架构： Rollout Server负责任务调度与负载均衡，Gateway Nodes负责运行时预热、智能体执行、轨迹构建和评估。这种解耦设计使得CPU密集型运行时准备不阻塞GPU训练，实现了训练与执行的高度并行化，有效提升了资源利用率。

• 多Harness兼容： 内置Claude Code、Codex、Qwen Code、OpenCode、Pi、Gemini CLI等主流代码智能体的快捷适配。开发者无需从零编写适配器代码，只需简单配置即可将现有智能体系统接入Polar训练框架。

• 容器化运行时： 支持Docker和rootless Apptainer，提供隔离执行环境。容器化部署确保了训练环境的一致性和可复现性，同时rootless Apptainer模式增强了安全性，适用于多租户场景。

• 权重同步机制： Trainer与Inference Server之间异步同步模型权重，rollout在旧策略上持续采样，trainer在收到足够轨迹后执行策略更新。这一机制保证了训练过程的稳定性和效率，避免了频繁的模型切换带来的性能损耗。

3. 如何使用

1. 环境要求与前置条件： 部署Polar需要具备GPU计算资源（推荐NVIDIA A100或更高配置），操作系统建议为Linux（Ubuntu 20.04+）。需要安装Docker或Apptainer（rootless模式）作为容器运行时，以及Python 3.8+和CUDA 11.8+。此外，需要准备一个兼容的LLM推理服务器（如SGLang、vLLM）用于模型推理。

2. 部署Polar服务： 首先启动Rollout Server，负责任务调度与负载均衡。命令示例：python -m polar.rollout_server --port 50051。然后启动Gateway Nodes，负责运行时预热、智能体执行和轨迹构建：python -m polar.gateway --rollout_server localhost:50051 --inference_server localhost:8000。确保Inference Server（如SGLang）已启动并运行目标模型。

3. 配置Harness： 将目标智能体（如Codex CLI）的模型base URL指向Polar Gateway代理端点。例如，在Codex CLI配置文件中设置--model-base-url http://localhost:8080。Polar Gateway会自动拦截API调用并记录交互数据。

4. 编写适配器： 创建harness adapter，通常只需配置环境变量、provider设置和启动命令。Polar提供了示例模板，开发者可以基于模板快速适配自定义智能体。适配器文件格式为YAML，包含name、provider、command、env_vars等字段。

5. 提交训练任务： 通过Polar API提交TaskRequest，指定harness、运行时、评估器和轨迹构建策略。示例：curl -X POST http://localhost:50051/api/tasks -d '{"harness":"codex","runtime":"docker","trajectory_strategy":"prefix_merging"}'。Polar会自动调度Gateway Nodes执行rollout。

6. 接入Trainer： 训练框架（如Slime、Megatron）通过回调接收Polar返回的轨迹数据，执行GRPO等RL算法更新。Polar提供了Python SDK，开发者可以轻松集成：from polar import PolarClient; client = PolarClient("localhost:50051"); trajectories = client.get_trajectories(task_id)。

注意事项： 确保Inference Server的tokenizer与训练模型完全一致，否则会导致token ID不匹配。建议使用SGLang作为推理后端，因其对token级log probabilities的支持更完善。对于大规模训练，建议配置多个Gateway Nodes实现并行rollout。

4. 优缺点分析

5. 同类工具对比

选型建议： 如果您的目标是快速将现有代码智能体（如Codex CLI、Claude Code）接入RL训练，且希望最小化代码修改，Polar是最优选择。其零侵入集成和Token保真轨迹重建能力，能显著降低技术门槛并保证数据质量。若您需要构建一个全栈式的多轮工具使用Agent训练系统，且愿意遵循框架预设的接口规范，SkyRL-Agent提供了更完整的算法优化和评估工具链。对于需要跨框架进行Agent训练数据收集和统一管理的场景，Agent Lightning的标准化数据接口更具优势。

6. 编辑点评

Polar在智能体强化学习训练领域展现出了显著的技术创新性。其核心突破在于提出了“黑盒代理范式”，将LLM API流量作为rollout边界，从根本上解决了传统框架要求智能体重写接口的痛点。这一设计思路不仅降低了集成门槛，更重要的是保持了harness的原生执行逻辑，避免了因接口适配引入的潜在行为偏差。Token保真轨迹重建技术更是亮点，直接从推理后端捕获原始token IDs和log probabilities，避免了文本重编码带来的训练信号失真，这在RL训练中至关重要。

从实用价值来看，Polar为AI研究者和工程师提供了一套高效、可扩展的智能体RL训练基础设施。异步服务架构使得CPU密集型运行时准备不阻塞GPU训练，prefix merging算法将训练时间缩短约5.39倍，这些优化在实际训练中能显著提升资源利用率和迭代速度。对于需要大规模训练代码智能体或多轮工具使用Agent的团队，Polar的价值尤为突出。

适用人群方面，Polar主要面向具有一定强化学习背景的AI研究员和工程师，特别是那些需要训练复杂智能体系统的团队。对于初学者，可能需要一定的学习成本来理解其架构和配置流程。

未来发展潜力巨大。随着智能体系统在各行各业的广泛应用，对高效RL训练基础设施的需求将持续增长。Polar的零侵入集成和弹性扩展设计，使其能够适应未来更复杂、更多样的智能体训练场景。英伟达的持续投入和社区贡献也将推动其生态快速成熟。

7. 应用场景

• 代码智能体强化学习： 对Codex、Claude Code等编程助手进行RL微调，提升SWE-Bench等软件工程benchmark表现。开发者只需将现有代码智能体配置指向Polar Gateway，即可开始RL训练，无需修改任何源码。

• 多轮工具使用Agent训练： 训练需要持续调用外部工具（浏览器、数据库、API）的长流程智能体。Polar的异步架构和轨迹重建能力，能够高效处理多轮交互数据的捕获与重建，特别适合复杂工具链场景。

• 离线SFT数据生成： 利用Polar在自定义harness上批量生成高质量训练数据，用于监督微调。通过配置不同的评估器和轨迹构建策略，可以生成多样化的训练样本，提升模型泛化能力。

• 多智能体协作优化： 对包含子智能体编排和上下文压缩的复杂多Agent系统进行端到端RL训练。Polar的黑盒代理范式可以同时捕获多个智能体的LLM API调用，实现联合优化。

• 闭源Agent评估与改进： 对无法获取源码的闭源智能体产品进行黑盒RL训练和能力提升。通过API代理捕获交互数据，Polar能够在不了解内部实现的情况下，对闭源Agent进行强化学习优化。

8. 常见问题FAQ

Q：Polar是否需要修改现有智能体的代码？
A：不需要。Polar通过在LLM API调用边界放置代理，透明转发请求并记录交互数据，无需修改智能体框架内部代码。开发者只需将智能体的模型base URL指向Polar Gateway代理端点即可。

Q：Polar支持哪些LLM推理后端？
A：Polar兼容Anthropic、OpenAI、Google等主流API风格，推荐使用SGLang作为推理后端，因其对token级log probabilities的支持更完善。vLLM、Triton Inference Server等也支持，但需要确保其提供log probabilities接口。

Q：Polar的轨迹重建策略如何选择？
A：per-request策略适合简单场景，每次模型调用独立视为一条轨迹。prefix merging策略适合多轮对话场景，通过检测prompt的token-prefix关系合并轨迹，可减少trainer更新次数约5.39倍。建议根据任务复杂度选择，长流程任务优先使用prefix merging。

Q：Polar的训练效率如何？
A：通过异步架构和prefix merging算法，Polar的训练效率显著优于传统方案。异步架构使CPU密集型运行时准备不阻塞GPU训练，prefix merging将训练时间缩短约5.39倍。在大规模分布式场景下，弹性扩展设计进一步提升了吞吐量。

Q：Polar是否支持闭源智能体？
A：支持。Polar的Harness无关性设计使其兼容任意基于LLM API的智能体，包括闭源二进制程序。只要智能体通过API调用LLM，Polar就可以通过API代理捕获交互数据并进行RL训练。

9. 项目地址

• GitHub仓库：https://github.com/NVIDIA-NeMo/ProRL-Agent-Server
• arXiv技术论文：https://arxiv.org/pdf/2605.24220