VeriLoop E2 – 清华大学开源的 27B 后训练模型

1. VeriLoop E2是什么

VeriLoop E2 是清华大学深圳国际研究生院机器人实验室开源的 27B 后训练模型，基于 Qwen3.8-27B 底座，面向代码、数学与物理推理场景。该模型采用 Apache-2.0 协议发布权重与分词器，原生支持 262,144 tokens 的上下文窗口。其核心创新在于 VGR（VeriLoop-Governed Recurrence）机制，将"模型提案"与"外部验证/持久化"彻底分离，候选状态只有在保护证据坐标无退化且至少一项严格改进时才被原子提交，否则完整回滚，从机制层面杜绝了模型自证成功的可能性。

技术定位与领域： 属于大语言模型后训练与可验证推理方向，聚焦于代码智能体、数学推理与科学计算三类高难度任务。区别于传统 RLHF 或 SFT 后训练范式，VeriLoop E2 将任务求解建模为受保护状态机上的状态转移过程，使模型行为受到外部验证器的严格约束，在开源模型中开辟了"可验证智能"这一细分赛道。

研发背景： 由清华大学深圳国际研究生院机器人实验室开发，该团队在机器人控制、具身智能与形式化验证领域有长期积累。VeriLoop E2 是其前作 VeriLoop Coder-E1 的延续与扩展，从单一代码生成场景拓展至跨域可审计的通用推理框架，体现了研究团队对"AI 系统可信性"这一核心命题的持续探索。

核心价值： 解决了大模型在长周期任务中"自证成功"与"不可审计"两大痛点。传统模型在代码修复或数学推理中往往缺乏外部验证机制，导致错误累积且难以追溯。VeriLoop E2 通过 VGR 机制引入受保护偏序与原子提交语义，确保每一次状态更新都经过外部验证器的严格校验，使模型的每一步进展都有据可查、可回滚、可重放。

技术特点： 采用 1,841,831 条结构化后训练记录，融合成对偏好 logistic 项、动作 NLL 与生成 NLL 的多目标损失，配合 QLoRA-4/bfloat16 量化训练与按能力面路由策略。发布九项基准冻结分数，包括 SWE-bench Pro 76.2%、AIME 2026 98.3%、GPQA Diamond 93.9% 等，并附带可审计的评估证据包。

2. 主要功能

• VGR 受保护状态转移机制： 核心创新在于将任务求解建模为候选状态转移过程。模型作为 proposer 生成候选潜变量位移，固定 decoder 将其物化为输出，外部 verifier 在固定合同下返回受保护证据秩。只有当候选秩对现任秩满足弱支配且至少一个坐标严格改进时才原子提交，否则完整保留现任 bundle，从算法层面杜绝了聚合分数掩盖单点回归的可能。

• 代码与智能体能力： 覆盖仓库级软件修复、终端/工具执行等任务，在 SWE-bench Pro 上取得 76.2%、Terminal-Bench 2.1 上取得 88.8%、DeepSWE v1.1 上取得 64.6% 的成绩。模型能够生成补丁、诊断回归，并由外部测试/评估器决定是否保留修改，适合"修改必须可验证"的维护场景。

• 数学与科学推理： 面向竞赛数学与高难度科学问答，报告 AIME 2026 98.3%、ArXivMath 100%、GPQA Diamond 93.9%、Apex 2025 89.6% 的成绩。多轮采样后由外部判定保留可复现解答，减少仅依赖单次答案的偶然性，适用于需要严谨推导链的数学任务。

• 证据闭合科学演示： 发布黎曼 ζ 零点比例 67.350003708785593% 的严格有限维证书，以及渐近引力子断层成像 T1–T9 框架与 6/6 通过的可执行证书套件。这些成果物展示了模型在理论物理与数学研究中辅助提出构造、定位证明缺口的实际能力。

• 可审计工程契约： 公开 14 条 Golden Rules，约束长周期任务保持有界、可测试、可追溯，明确禁止伪造成功、资源预算后置或覆盖本地约定。评估证据包按任务绑定身份、输出、原生执行/评估记录、通过与失败及完整性元数据，使模型行为全程可审计。

• 长上下文与开放服务： 原生支持 262,144 tokens 上下文窗口，权重采用 Apache-2.0 协议开放。提供经 vLLM 0.17.0 验证的 OpenAI 兼容服务路径，公开验证服务长度为 131,072 tokens，开发者可通过标准 OpenAI 协议快速接入。

3. 如何使用

1. 获取模型： 从 Hugging Face 拉取 tsinghua-sigs-robot-lab/VeriLoop-E2，保留仓库自带的 tokenizer、chat template 与配置文件，不要自行替换或修改这些组件。

2. 准备环境： 安装 Python 3.12.x、PyTorch 2.10.0 + CUDA 12.9、Transformers 4.57.6、Triton 3.6.0，执行 python -m pip install "vllm==0.17.0" 安装推理引擎。

3. 启动服务： 运行 VLLM_USE_MODELSCOPE=true vllm serve <MODEL_PATH_OR_HF_ID> --served-model-name veriloop-e2 --dtype bfloat16 --model-impl vllm --language-model-only --max-model-len 131072 --max-num-seqs 16 --gpu-memory-utilization 0.92 --generation-config vllm --host 127.0.0.1 --port 8001。注意 --max-model-len 设置为 131072，这是公开验证服务的长度上限。

4. 先做冒烟测试： 向 http://127.0.0.1:8001/v1/chat/completions 发送 temperature: 0 的小请求，确认返回如 8001_OK 再接入正式流量，避免配置错误影响生产环境。

5. 按 OpenAI 协议调用： 使用 model="veriloop-e2" 的 /v1/chat/completions 接口，Python 侧用 OpenAI(base_url="http://127.0.0.1:8001/v1", api_key="EMPTY") 创建客户端，即可无缝接入现有应用。

6. 把模板当作协议一部分： 不要替换角色分隔符、工具调用语法、停止语义或推理历史格式，即使权重不变，修改模板可能改变工具使用与系统行为。

7. 规划长上下文资源： 发布 tokenizer 原生上限为 262,144 tokens，但公开验证服务长度为 131,072 tokens，更长窗口需自行评估显存与 KV cache 占用。

8. 区分模型与 Harness 权限： E2 只负责提案、抽象、诊断和修复；证据接纳、确定性检查、提交/回滚、终止和持久化应由你自己的 verifier/Harness 实现，生产环境需自行构建验证闭环。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于需要严格可验证性的长周期任务（如仓库级代码修复、科学计算辅助），VeriLoop E2 的 VGR 机制提供了独特的受保护状态转移语义，适合对系统可信度有硬性要求的团队。其评估证据包与 Golden Rules 使审计成本显著降低，但需自行构建 Harness 层。若仅需通用代码生成能力且不要求外部验证，Qwen3.8-27B 底座或 DeepSeek-Coder-V2 等专用代码模型在部署简便性与生态成熟度上更具优势。VeriLoop Coder-E1 则适合已熟悉证据治理范式、希望在前代框架上迭代的开发者。

6. 编辑总结

VeriLoop E2 的发布标志着开源大模型后训练从"追求分数"向"追求可验证性"的重要转向。其 VGR 机制将任务求解建模为受保护状态机上的状态转移过程，通过受保护偏序与原子提交语义，从算法层面保证了模型行为的可审计性与可回滚性。这一设计在技术层面具有明确创新性：它不再依赖模型自评或聚合分数的提升来判断进展，而是要求每一次状态更新都通过外部验证器的严格校验，且满足逐坐标不恶化、至少一项严格改进的提交条件。1,841,831 条结构化后训练记录与多目标损失设计，使模型能够内化"哪些动作构成严格进展"的判断标准，而非仅仅拟合最终答案。

从实用价值来看，VeriLoop E2 在 SWE-bench Pro、AIME 2026、GPQA Diamond 等九项基准上的表现证明了其跨域能力，而评估证据包与 14 条 Golden Rules 的发布则为工程团队提供了可操作的审计框架。模型权重采用 Apache-2.0 协议，配合 vLLM 0.17.0 的 OpenAI 兼容服务路径，降低了集成门槛。适用人群主要包括：需要严格验证闭环的软件工程团队、从事数学与理论物理研究的科研人员，以及对 AI 系统可信性有硬性要求的企业开发者。需要明确的是，生产版 Harness 未开源，科学成果物不可外推为相关猜想已被解决，这些边界在应用中需严格界定。随着可验证推理范式的持续演进，VeriLoop E2 所确立的"模型提案—外部验证—原子提交"框架，或将为后续开源模型的后训练设计提供新的参考坐标。

7. 应用场景

• 仓库级代码修复： 用于 SWE 类任务中生成补丁、诊断回归并由测试/评估器决定是否保留。模型负责提案与修复，外部验证器执行测试并返回证据秩，只有通过验证的修改才会被提交，适合"修改必须可验证"的维护场景，显著降低回归风险。

• 终端与工具智能体： 在 Terminal-Bench 类环境里执行命令、调用工具、按证据触发下一步。模型生成操作序列，外部 verifier 以通过/失败凭证控制是否推进，确保每一步操作都有据可查，适用于需要严格操作审计的自动化运维场景。

• 数学推理与竞赛求解： 面向 AIME/ArXivMath 类高难推导，多轮采样后用外部判定保留可复现解答。模型提出证明路径，验证器检查每一步推导的合法性，减少只看单次答案的侥幸成分，适合需要严谨推导链的数学研究辅助。

• 科学计算与理论物理探索： 在黎曼 ζ、量子场论、渐近引力子等研究中辅助提出构造、定位证明缺口。模型生成候选构造，外部证书套件验证其有效性，发布的 T1–T9 框架展示了其在理论物理研究中作为"可验证助手"的潜力。

8. 常见问题FAQ

Q：VeriLoop E2 与 VeriLoop Coder-E1 的核心区别是什么？
A：E1 聚焦于代码生成与软件工程修复，其验证机制以系统循环方式耦合运行；E2 将 VGR 框架扩展至代码、数学与科学推理多个领域，将验证规则抽象为受保护状态机，并采用 1,841,831 条结构化记录进行后训练，使"可验证性"从工程实践上升为模型内化的行为准则。

Q：VeriLoop E2 的上下文窗口到底是多少？
A：发布 tokenizer 原生上限为 262,144 tokens，但公开验证服务长度为 131,072 tokens。若需使用更长窗口，需自行评估显存与 KV cache 占用，官方未提供超出 131,072 的服务验证。

Q：生产环境中如何使用 VeriLoop E2 的验证机制？
A：E2 只负责提案、抽象、诊断和修复；证据接纳、确定性检查、提交/回滚、终止和持久化需由用户自行实现的 verifier/Harness 完成。生产版 VeriLoop Harness 未开源，用户需根据 14 条 Golden Rules 构建自己的验证闭环。

Q：模型权重与科学工件（黎曼 ζ 证书等）的许可有何区别？
A：模型权重采用 Apache-2.0 协议；科学工件与模型许可证分开，单独授权。报告中明确结果不可外推为黎曼猜想或黑洞信息悖论已被解决，使用时需注意区分两类资源的许可边界。

Q：VeriLoop E2 能否直接用于商业项目？
A：可以。模型权重采用 Apache-2.0 协议，允许商业使用与修改。但生产版 Harness、私有编排与训练数据未包含在发布内容中，商业部署需自行实现验证层并遵守科学工件的单独许可条款。

Q：报告中的基准分数如何复现？
A：官方发布了评估证据包，按任务绑定身份、输出、原生执行/评估记录、通过与失败及完整性元数据。推荐使用 vLLM 0.17.0 并按官方启动参数配置服务，其他推理引擎或版本可能无法完全复现报告中的性能表现。

9. 项目地址

• Hugging Face 模型库：https://huggingface.co/tsinghua-sigs-robot-lab/VeriLoop-E2
• 技术论文：https://openreview.net/pdf?id=P6FIQILHwX