PlanningBench – 腾讯混元等开源的大模型规划能力评测框架

1. PlanningBench是什么

PlanningBench 是由腾讯混元团队联合中国人民大学高瓴人工智能学院等机构推出的开源框架，专注于大语言模型的规划能力评测与训练。该框架从真实场景出发，构建了一套覆盖六大类、30余种规划任务的可验证数据生成体系，通过约束驱动的闭环合成流程，让模型规划结果从“看起来合理”走向“真的可执行”。与传统评测基准依赖静态题库或人工评分不同，PlanningBench 引入了结构化验证清单（checklist）和双指标评测体系（Avg-pass 与 All-pass），能够精确判定方案是否全局可执行，并提供可直接用于强化学习训练的可验证样本。这一设计使其不仅是一个评测工具，更是一个能主动寻找模型能力边界的动态数据生成系统，为提升大模型在复杂约束推理场景中的可靠性提供了基础设施。

技术定位与领域： PlanningBench 属于自然语言处理与大模型评测领域，专门针对大语言模型的规划能力进行系统性评测与训练增强。与通用智能体评测基准相比，其独特定位在于聚焦于静态规划问题求解，强调约束推理、资源分配、状态跟踪等核心规划能力，而非多轮环境交互。

研发背景： 该框架由腾讯混元团队主导，联合中国人民大学高瓴人工智能学院共同研发。研发团队在基础模型训练、强化学习及复杂推理任务上具有深厚积累，其动机在于：现有评测基准（如 AgentBench、GSM8K）对规划能力的覆盖不足，缺乏可验证、难度可控、能直接用于训练的评测数据，导致模型规划能力的提升缺乏可靠信号。

核心价值： PlanningBench 解决了三个关键问题：一是评测结果的可信度——通过自动 checklist 精确判定方案可执行性，避免人工评分的主观性；二是任务难度的可控性——通过三层约束体系（基础、中等、困难）精细调控推理深度，而非简单增加提示长度；三是训练信号的有效性——仅需 300 条可验证样本即可通过 GRPO 训练显著提升模型在外部规划基准和通用指令遵循任务上的表现，证明了评测数据可直接转化为训练增益。

技术特点： 框架采用 Generator-Responder-Critic 三角色闭环合成流程，自动生成并验证规划问题，同时根据模型表现动态调整难度，形成主动寻找能力边界的自增强系统。双指标评测（Avg-pass 与 All-pass）能识别“局部正确但整体不可执行”的模型输出，提供更细致的诊断信息。

2. 主要功能

• 真实场景覆盖： 涵盖日程排布、资源分配、人力排班、路径调度、生产运营、应急服务六大类共30余种具体规划任务。每个任务家族均从通勤、排产、医疗调度等实际场景抽象而来，避免模型在固定题库上过拟合。这种真实场景导向的设计使得评测结果更具实际参考价值。

• 三层约束体系： 将规划难度拆解为基础约束（时间窗口、资源边界）、中等约束（多目标优化、依赖关系）和困难约束（异常恢复、目标冲突）。通过控制约束池的采样分布来调控生成数据的难度，使难度提升真正作用于规划推理深度，而非简单增加文本长度或任务步骤数。

• 自动验证机制： 每条实例配套结构化可执行 checklist，支持 Avg-pass（局部约束满足率）和 All-pass（全局可执行率）双指标评测。Avg-pass 衡量模型在单个约束上的满足程度，All-pass 则要求所有约束同时满足。这种双指标设计能有效识别模型“局部正确但整体不可执行”的伪成功输出。

• 闭环数据生成： 核心是一个 Generator-Responder-Critic 三角色协作系统：Generator 根据采样的任务与约束组合生成自包含的规划问题及对应验证清单；Responder 模型尝试生成方案；Critic 依据 checklist 逐项检查答案是否满足全部要求。若通过则提高难度，否则保留为挑战性样本。这一机制使 PlanningBench 成为一个能主动寻找模型能力边界的动态数据生成系统。

• 训练信号输出： 可验证样本可直接用于强化学习训练，为模型提供稳定的规划能力优化信号。实验表明，仅300条样本即可通过 GRPO 训练提升模型在外部规划基准和通用指令遵循任务上的表现，证明了该框架从评测到训练的无缝衔接能力。

• 难度增强自适应： 闭环流程中，若当前模型能轻松通过当前难度，系统会自动提升约束耦合度和资源冲突强度，生成更具挑战性的样本。这种自适应难度增强机制避免了静态数据集的“天花板效应”，持续推动模型向更复杂规划推理能力进化。

3. 如何使用

1. 环境要求与前置条件： 使用 PlanningBench 需要 Python 3.8 及以上环境，建议配备至少 16GB 内存。评测和训练任务可在 CPU 上运行，但使用 GPU（如 NVIDIA V100/A100）可显著加速模型推理过程。依赖库包括 transformers、torch、datasets 等，可通过 pip 安装。

2. 获取资源： 从 GitHub 仓库（https://github.com/Tencent-Hunyuan/PlanningBench）克隆代码，或直接从 HuggingFace（https://huggingface.co/datasets/tencent/PlanningBench）下载数据集。推荐使用 git clone 获取完整代码和示例脚本。

3. 运行评测： 加载 PlanningBench 评测集，调用目标模型生成规划方案。框架提供了统一的评测接口，用户只需传入模型和 tokenizer，即可自动计算 Avg-pass 和 All-pass 指标。核心命令示例：

   python evaluate.py --model_name your_model --dataset_path ./data/planning_bench
   

   评测结果会以 JSON 格式输出，包含每个任务家族的详细得分。

4. 生成定制数据： 若需针对特定领域或难度生成训练数据，可配置任务类型与约束层级。编辑 config.yaml 文件，设置 task_family（如 scheduling）、difficulty_level（easy/medium/hard）和 num_samples。然后运行：

   python generate_data.py --config config.yaml
   

   生成的样本会包含问题描述、验证 checklist 以及参考答案（可选）。

5. 训练模型： 使用生成的可验证样本作为奖励信号，对目标模型进行强化学习训练。框架提供了基于 GRPO 的训练脚本示例，用户可参考 train_grpo.py 进行适配。仅需 300 条高质量样本即可在多个规划任务上观察到显著提升。

注意事项： 生成定制数据时，建议先使用默认配置运行少量样本，确认流程正常后再大规模生成。强化学习训练需要额外的奖励模型设计，建议使用框架自带的 checklist 验证器作为奖励信号来源。

4. 优缺点分析

5. 同类工具对比

选型建议： 如果研究目标聚焦于大模型的规划能力（如约束推理、资源分配、状态跟踪），且需要可验证、难度可控的评测与训练数据，PlanningBench 是最佳选择。其闭环数据生成和双指标评测设计特别适合学术研究中的能力诊断和模型迭代。对于需要评估模型在真实环境中的多轮交互能力（如操作系统操作、网页浏览），AgentBench 更具优势，但其评测结果受环境交互随机性影响较大，且不支持训练数据生成。GAIA 则适合评估模型的多步推理和工具使用能力，但依赖人工评分，可扩展性较低。

6. 编辑点评

PlanningBench 在技术设计上展现出显著的创新性。其核心亮点在于将评测与训练无缝衔接，通过可验证的 checklist 和闭环数据生成，解决了传统评测基准“只测不练”的痛点。从技术层面看，三层约束体系的设计是对规划难度量化的有效尝试——传统方法往往通过增加任务步骤或提示长度来提升难度，但这容易引入无关噪声；而 PlanningBench 通过控制约束耦合度和资源冲突强度，使难度提升直接作用于规划推理的核心环节，这一思路值得后续研究借鉴。双指标评测（Avg-pass vs All-pass）则提供了更精细的诊断工具：当模型在复杂任务上 All-pass 较低但 Avg-pass 较高时，说明其具备局部约束满足能力但缺乏全局协调能力，这为针对性改进指明了方向。

实用价值方面，该框架不仅适用于学术研究，也具备产业落地潜力。企业排程优化、医疗资源调度等场景中，模型的规划能力直接决定决策质量。通过 PlanningBench 生成的定制化评测数据，企业可以快速评估模型在自身业务场景中的适用性，并利用强化学习训练提升模型表现。实验表明仅需 300 条样本即可见效，这意味着训练成本可控，易于推广。

适用人群定位：主要面向 AI 研究人员（尤其是大模型评测与强化学习方向）、算法工程师（需要提升模型规划能力）、以及企业 AI 应用开发者（需评估模型在排程、调度等场景中的可靠性）。

未来发展潜力：随着大模型向更复杂推理任务演进，规划能力的重要性日益凸显。PlanningBench 有望成为该领域的标准评测基准之一，但需要持续扩展任务家族（如加入多智能体协作规划、动态重规划等场景），并降低自定义约束模板的门槛。此外，将 checklist 验证器与更通用的推理验证框架（如 Lean、Coq）结合，可能进一步提升验证的严谨性。

7. 应用场景

• 模型能力诊断： 研究人员可使用 PlanningBench 精准识别大模型在约束推理、资源分配、状态跟踪等规划核心能力上的短板。通过分析 Avg-pass 与 All-pass 的差异，可定位模型在“局部正确”与“全局协调”之间的能力差距，从而指导模型改进方向。

• 智能体训练： AI Agent 开发者可利用 PlanningBench 生成的可验证样本，通过强化学习（如 GRPO）训练模型，提升其在日程安排、物流调度、生产排程等任务中的可靠性。仅需少量高质量样本即可显著提升模型在外部规划基准上的表现。

• 学术研究： 作为规划能力研究的基准工具，PlanningBench 支持可复现、可扩展的模型对比实验。研究者可以自定义任务和约束层级，验证新算法（如基于搜索的规划、神经符号推理）在大模型上的效果，推动规划能力评测的标准化。

• 企业排程优化： 企业可基于 PlanningBench 框架生成特定业务场景（如护士排班、生产排产、物流路径规划）的评测数据，快速评估候选模型在真实约束条件下的表现。通过闭环数据生成，企业还能持续迭代模型，使其适应不断变化的业务需求。

• 教育分组与资源分配： 教育机构或公益组织可使用 PlanningBench 中的学生分组、物资分发等任务类型，验证模型在多约束条件下的公平性与最优性。例如，评估模型能否在满足硬性约束（如班级容量）的同时，优化软性目标（如学生兴趣匹配度）。

8. 常见问题FAQ

Q：PlanningBench 与 AgentBench 的主要区别是什么？
A：PlanningBench 专注于静态规划问题的评测与训练，强调约束推理和方案的可执行性验证；AgentBench 则侧重于多轮环境交互能力，要求模型与模拟环境实时互动。PlanningBench 提供可验证的 checklist 和双指标评测，并原生支持训练数据生成，而 AgentBench 主要用于评测。

Q：我需要什么样的硬件才能运行 PlanningBench？
A：评测和训练可以在 CPU 上运行，但推荐使用 NVIDIA V100/A100 等 GPU 以加速模型推理。生成定制数据时，如果使用大模型（如 7B 以上参数），建议至少 16GB 显存。框架代码本身轻量，主要资源消耗来自目标模型。

Q：如何确保生成的训练数据质量？
A：框架内置的闭环流程（Generator-Responder-Critic）通过 Critic 模块逐项验证 checklist 来保证数据质量。只有通过验证的样本才会被保留。此外，用户可以手动检查生成样本的合理性，或增加 Critic 的验证轮次以提高质量。

Q：PlanningBench 能否用于动态规划场景（如实时调度）？
A：当前版本主要面向静态规划问题，即输入固定、方案一次性生成。动态规划场景（如需要根据环境反馈实时调整方案）不在当前设计范围内。未来版本可能考虑引入多轮交互机制。

Q：如何扩展 PlanningBench 以支持新的规划任务？
A：需要定义新任务家族的任务结构、约束模板和验证 checklist。框架提供了扩展接口，用户可参考 task_templates 目录下的示例进行自定义。建议先阅读文档中的“自定义任务”章节，并参与社区讨论获取支持。

Q：使用 GRPO 训练时，需要注意什么？
A：GRPO 训练需要稳定的奖励信号，PlanningBench 的 checklist 验证器可直接作为奖励函数。建议先用少量样本（如 100 条）验证训练流程正常，再扩大规模。训练超参数（学习率、批次大小等）需根据模型大小调整，框架提供了默认配置供参考。

9. 项目地址

• GitHub 仓库： https://github.com/Tencent-Hunyuan/PlanningBench
• HuggingFace 数据集： https://huggingface.co/datasets/tencent/PlanningBench
• arXiv 技术论文： https://arxiv.org/pdf/2605.20873