QwenGyre – 阿里千问推出的超长程智能体在线强化学习框架

1. QwenGyre是什么

QwenGyre是阿里千问团队推出的面向超长程智能体任务的在线强化学习框架，专为单次执行约70万token、持续数小时乃至更长时间的复杂任务设计。该框架通过弹性调度机制在任务不中断的前提下将空闲GPU资源在采样与训练之间动态切换，并借助轨迹处理技术保留真实上下文、评估部分成果以及去重共享前缀以控制训练成本。在Qwen3.8-2.4T旗舰模型上，QwenGyre仅用48步便将NL2RepoBench基准的通过率从52.48%提升至58.54%，相比异步端到端方案实现了1.78倍的训练加速，为超长程智能体强化学习树立了新的技术标杆。

技术定位与领域： QwenGyre属于大语言模型强化学习训练基础设施领域，具体聚焦于在线强化学习（Online RL）与智能体（Agent）训练的结合点。与传统的离线RL或短程在线RL不同，QwenGyre将强化学习训练的范围扩展至单次执行累计约百万token的超长程智能体任务，填补了该领域缺乏成熟训练框架的技术空白，为代码生成、软件工程自动化等复杂场景提供了可落地的训练方案。

研发背景： QwenGyre由阿里千问（Qwen）团队研发，该团队在通义千问系列模型上积累了深厚的大规模预训练与对齐经验。超长程智能体任务在现实应用中需求旺盛，但训练此类任务面临GPU显存受限、采样与训练难以并行、轨迹信号稀疏等核心挑战，传统框架难以胜任。阿里千问团队基于对SGLang推理引擎与Megatron训练框架的深度优化经验，提出了弹性调度与轨迹树处理两大核心技术，从而构建了QwenGyre这一面向超长程场景的专用在线RL框架。

核心价值： QwenGyre解决了超长程智能体在线强化学习中的三大关键难题：其一，通过弹性GPU调度实现了采样与训练的高度重叠，消除了GPU空转浪费；其二，通过轨迹树与Token-in Token-out机制保证了训练信号的真实上下文一致性，避免了"虚假上下文"导致的模型退化；其三，通过部分评分与轨迹预算机制，在超长程任务信号稀疏、成本高昂的条件下最大化利用有效训练信号，显著提升了旗舰模型在复杂代码生成任务上的通过率。

技术特点： QwenGyre的核心技术优势体现在细粒度的cell级弹性调度架构上，每个cell既可提供采样服务也可承载训练副本，调度器根据"水位"动态切换角色，切换耗时仅数秒。同时，请求重路由与RDMA KV cache迁移技术保证了切换过程中智能体执行状态与工具状态的完整保留，实现了任务零中断的弹性训练体验。

2. 主要功能

• 弹性GPU调度： 将GPU集群划分为若干同构计算单元（cell），每个cell既能通过SGLang提供采样服务，也能通过Megatron承载完整训练副本。调度器实时跟踪"水位"（未完成任务量），在剩余采样容量足以支撑在跑任务且训练数据供应充足时，按序将空闲cell切入训练模式，实现采样与训练的高度重叠，消除GPU空转浪费。

• 请求重路由与KV cache迁移： 在GPU角色切换过程中，由代理将模型请求重定向到新的推理引擎并自动重试未完成请求，后端进程与通信组无需重建。同时通过RDMA技术迁移KV cache，完整保留智能体的工作区与工具状态，切换耗时仅数秒，相对数小时的执行时长可忽略不计，确保任务零中断。

• 流式训练与新节点中途加入： 核心cell保存权威参数与优化器状态，卫星cell可通过RDMA拉取参数快照后随时加入正在进行的批次，按进度领取微批次参与梯度累计，最后由核心cell统一汇总更新。该机制使训练可随数据就绪逐步扩容，实现了训练与采样的高度流水线化。

• 轨迹树与真实上下文保留： 通过Token-in Token-out机制记录每次模型调用的精确输入/输出token ID和行为策略对数概率，将共享前缀复用、分叉处建分支，组织成轨迹树结构。每条输出始终对应其生成时的原始上下文，避免了历史压缩、子智能体上下文拼接等导致的"虚假上下文"训练信号。

• 部分评分（Partial Scoring）： 对于超时未完成的任务，若其执行过程中产出了可检验的中间成果（如部分代码文件），仍按照任务规则进行评分并纳入训练。该机制最大化利用了超长程执行中稀疏而昂贵的有效信号，避免因任务未完成而浪费全部训练数据。

• 轨迹预算与损失均衡： 每个执行最多保留Jmax条轨迹，共享前缀只计一次损失，避免分支过多的任务在训练中权重过大。损失计算先在执行内对选中的token取平均、再对执行取平均，使执行权重与其分支数量解耦，保证训练稳定性。

• 细粒度资源分配： 基于cell级的资源调度消除了Colocate模式的长尾等待空转和Async模式的固定分区僵化问题，训练过程可被采样完全隐藏，实现了GPU利用率的最大化，在相同GPU预算下显著缩短训练耗时。

3. 如何使用

目前QwenGyre以学术论文形式公开发布，阿里千问团队尚未开放代码与安装包。以下使用流程基于论文披露的技术架构进行梳理，供研究者和工程师参考。

1. 环境要求： 部署QwenGyre需要具备多卡GPU集群环境，推荐使用NVIDIA A100或H100等高性能GPU。集群节点间需支持RDMA网络以完成KV cache迁移与参数快照同步。软件层面需预装SGLang推理引擎与Megatron训练框架，并配置好PyTorch及CUDA环境。

2. 集群初始化与cell划分： 将GPU集群划分为若干同构计算单元（cell），每个cell可独立提供采样服务或承载训练副本。配置核心cell（core cell）保存权威权重与优化器状态，其余作为卫星cell（satellite cell）随时准备加入训练批次。

3. 调度器配置： 启动弹性调度器（Elastic Scheduler），设定"水位"阈值参数，即未完成任务量与可用采样容量、训练数据供应量之间的平衡条件。调度器根据该配置自动决定何时将空闲cell从采样模式切入训练模式。

4. 任务提交与轨迹处理： 将超长程智能体任务提交至系统，代理记录每次模型调用的精确输入/输出token ID与策略对数概率。轨迹处理器按共享前缀组织轨迹树，训练准入阶段按角色优先级为每个执行选取不超过Jmax条轨迹，仅策略模型生成的token参与损失计算。

5. 训练执行与监控： 核心cell统一汇总各卫星cell的梯度更新，同步权威参数。训练过程中可实时监控GPU利用率、采样与训练重叠度、轨迹分支数量等关键指标，并根据任务完成情况调整Jmax、部分评分规则等超参数。

6. 注意事项： 由于QwenGyre面向超长程任务，训练批次的时间跨度较大，建议在训练前充分预估任务执行时长与token消耗量，合理配置cell数量与调度阈值。此外，需确保集群网络带宽满足RDMA传输要求，避免KV cache迁移成为性能瓶颈。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于面向代码生成、软件工程自动化等超长程智能体任务的研究团队，QwenGyre的弹性调度与轨迹树机制能显著提升训练效率与模型性能，是理想的技术方案，但需等待代码开源并具备RDMA网络环境。对于对话级短程RL训练需求，字节跳动的VeRL等成熟开源框架部署更简便、社区支持更完善，是更务实的选择。对于已有固定GPU集群且任务模式相对稳定的团队，可考虑在Async方案基础上引入部分QwenGyre的轨迹处理思想进行优化。

6. 编辑总结

QwenGyre在超长程智能体在线强化学习领域展现了较强的技术创新性。其核心贡献在于将弹性调度思想引入RL训练基础设施，通过cell级细粒度资源管理打破了传统Async方案固定分区导致的GPU利用率瓶颈，以及Colocate方案中采样与训练互相阻塞的问题。在Qwen3.8-2.4T旗舰模型上的实验数据显示，48步训练将NL2RepoBench通过率从52.48%提升至58.54%，端到端加速达1.78倍，这些数据充分验证了框架在真实大规模场景下的有效性。

从实用价值来看，QwenGyre解决了超长程智能体任务训练中的关键痛点——信号稀疏、成本高昂、上下文失真。轨迹树与TITO机制保证了训练信号的保真性，部分评分机制则最大化利用了超时任务的中间成果，这些设计对于提升模型在复杂工程任务中的能力具有重要意义。框架的适用人群主要集中在从事代码生成、软件工程自动化、多智能体协作等领域的研究团队和AI平台工程团队。

值得关注的是，QwenGyre目前仍以论文形式发布，代码尚未开源，这在一定程度上限制了技术的传播与应用。但考虑到阿里千问团队在开源社区的活跃度，未来开源后有望成为超长程RL训练领域的重要基础设施。随着智能体任务复杂度持续提升，QwenGyre所代表的弹性调度与轨迹处理技术路线，为行业提供了值得借鉴的解决方案。

7. 应用场景

• 自然语言生成完整代码仓库： 根据自然语言规格说明从零构建多包软件仓库，单次执行约70万token、持续数小时。QwenGyre通过在线RL训练持续优化模型在长程代码生成任务中的规划与执行能力，逐步提升生成仓库的可编译性与功能正确性。

• 已有仓库的长程软件工程： 在现有代码库中完成功能开发、缺陷修复与跨文件改造等复杂任务。模型需要在数小时内连续阅读、理解并修改多个文件，QwenGyre的轨迹树机制确保训练信号与真实上下文一致，有效提升模型的代码理解与修改能力。

• 多轮终端自动化操作： 智能体在命令行环境中连续执行数百轮工具调用，完成系统配置、服务部署与运维任务。QwenGyre的部分评分机制允许对超时任务的部分成果进行评估，使模型能从长程终端交互中持续学习改进操作策略。

• 大规模代码库重构迁移： 跨仓库技术栈升级、整体架构重构等需要数小时连续规划执行的工程任务。QwenGyre的弹性调度确保长时间采样过程中GPU资源高效利用，在线RL训练使模型逐步掌握复杂重构任务的分解与执行能力。

• 多智能体协作任务： 主智能体委派子智能体的层级执行场景，QwenGyre的轨迹处理可利用分叉结构控制子任务训练成本，共享前缀去重机制避免重复计算，使多智能体协作训练在可控成本下高效进行。

8. 常见问题FAQ

Q：QwenGyre与传统的异步RL方案有何本质区别？
A：传统异步RL方案将采样与训练固定分区，GPU资源无法动态调配，长程任务易造成采样端或训练端空闲。QwenGyre采用cell级弹性调度，每个cell可根据"水位"动态在采样与训练间切换，配合RDMA KV cache迁移实现任务零中断，从而显著提升GPU利用率与端到端训练效率。

Q：QwenGyre如何保证超长程任务中训练信号的上下文真实性？
A：QwenGyre通过Token-in Token-out（TITO）机制记录每次模型调用的精确输入/输出token ID与策略对数概率，按共享前缀组织成轨迹树结构。每条输出始终对应其生成时的原始上下文，避免了历史压缩或子智能体上下文拼接导致的"虚假上下文"训练信号。

Q：QwenGyre对GPU集群有什么硬件要求？
A：QwenGyre需要多卡GPU集群环境，推荐使用NVIDIA A100或H100等高性能GPU。集群节点间需支持RDMA网络以完成KV cache迁移与参数快照同步，普通以太网可能无法满足低延迟传输需求。

Q：QwenGyre目前是否开放了代码与安装包？
A：目前QwenGyre仅以学术论文形式发布，阿里千问团队尚未公开代码与安装包。研究者和开发者暂时无法直接复现实验，需关注阿里千问后续的开源发布计划。

Q：部分评分机制是如何工作的？
A：对于超时未完成的任务，若执行过程中产出了可检验的中间成果（如部分代码文件、配置脚本等），系统仍按照任务规则进行评分并纳入训练。该机制最大化利用了超长程执行中稀疏而昂贵的有效信号，避免因任务未完成而浪费全部训练数据。

Q：QwenGyre的轨迹预算Jmax参数如何设置？
A：Jmax控制每个执行最多保留的轨迹数量，共享前缀只计一次损失。建议根据任务分支复杂度与GPU显存容量进行调优，分支较多的任务可适当增大Jmax以保留更多有效轨迹，但需注意显存占用与损失均衡。

9. 项目地址

• arXiv技术论文： https://arxiv.org/pdf/2609.33848 （官方技术论文，介绍QwenGyre的架构设计与实验结果）