HarnessEval – MirroS 联合清北、英伟达等推出的评测系统

1. HarnessEval是什么

HarnessEval 是由 MirroS 联合清华大学、北京大学、加州大学伯克利分校、麻省理工学院及英伟达等顶尖机构推出的 Agentic 评测系统。该系统将评测过程本身智能体化，针对每个案例动态规划评测路径，从 Skill Library 中选择适用技能，将抽象问题拆解为可验证的子问题，调用工具搜集多维度证据，最终输出结构化的 Evidence Tree。HarnessEval 突破了传统静态 Benchmark 的局限，使评测从单一黑盒分数转变为可解释、可复现的智能工作流。其首个落地项目 HarnessEval-W 已专门用于交互式世界模型的评测。

技术定位与领域： HarnessEval 属于 AI 评测与评估技术领域，专注于交互式世界模型（World Model）和具身智能系统的能力评测。与传统视频生成评测不同，它强调对动作输入、状态转移、物理因果和世界持续性等动态特性的验证，填补了现有评测体系在交互式场景中的空白。

研发背景： 由 MirroS 实验室牵头，联合清华大学、北京大学、UC Berkeley、MIT 和英伟达等机构共同研发。团队在智能体系统、世界模型和自动化评估方面有深厚积累，旨在解决当前评测体系无法适应世界模型快速演进、评测结果不可解释、难以复现等核心痛点。

核心价值： HarnessEval 将评测从机械的指标计算升级为智能化的分析流程，使评测结论具备完整的推理链和视觉证据，可追溯、可审计、可复现。它降低了人工评估的主观性和成本，同时为模型开发者提供了精准的失败模式定位，加速模型迭代。

技术特点： 采用四层 Agentic 工作流（Plan-Router-Decompose-Verify），主智能体统筹规划与验证，各 Skill Agent 负责专项评测，sub-agent 处理具体子任务，形成层级化协作架构。内置可扩展的 Skill Library（初始 9 个核心技能模块），支持动态添加新技能，使评测能力随模型演进持续扩展。最终输出 Evidence Tree，完整记录测试内容、工具调用、视觉证据与推理链。

2. 主要功能

• 动态评测规划： 针对每个案例的上下文与目标，系统自动生成定制化的评测计划，而非套用固定流程。Plan 阶段理解案例背景，规划评测路径，使评测策略与具体场景高度匹配，避免资源浪费在无关指标上。

• 智能技能路由： 从 Skill Library 中按需选择适用技能，而非对所有案例执行同一套固定指标。Route 阶段根据评测计划动态路由到对应的 Skill Agent，实现评测维度的自适应组合，提升评测效率与针对性。

• 分层问题拆解： 将抽象的高层评测问题（如“物理合理性”）拆分为可测量、可验证的子问题（如“物体碰撞响应”“重力加速度一致性”）。Decompose 阶段将子问题委派给对应的 sub-agent，实现复杂任务的精细化拆解与并行处理。

• 多角度证据搜集： 调用 sub-agent 和诊断工具，从不同角度搜集视觉与逻辑证据。例如，通过目标检测验证物体 permanence，通过光流分析评估运动连贯性，通过状态对比检验动作一致性，确保评估依据充分。

• 证据验证与逻辑整合： 主智能体验证各分支证据的质量与逻辑关系，剔除矛盾或低置信度的证据，并将多源证据整合为一致的推理链。Verify 阶段确保最终结论的可靠性和自洽性，避免单一指标误导。

• Evidence Tree 输出： 评测结果以层级式证据树形式呈现，完整记录测试内容、工具调用、视觉证据与推理链。每个分数节点都附带可追溯的依据，使评测结论可检查、可复现、可追责，而非仅输出单一标量分数。

• 可扩展 Skill Library： 内置 9 个核心技能模块，覆盖渲染质量、物理合理性、状态变化验证、漂移分析、重访一致性、离屏演化等维度。支持随模型能力演进动态添加新技能，通过递归自我改进机制持续扩展评测维度。

• 评测案例自动构建： 基于场景分类学自动生成初始世界状态、动作序列与验证标准，确保评测案例的质量与多样性。系统能自动生成多种交互场景，减少人工构建案例的工作量，提升评测覆盖度。

3. 如何使用

1. 环境要求与前置条件： 需要 Linux 或 macOS 系统，Python 3.8 以上，推荐配备 NVIDIA GPU（至少 8GB 显存）以加速推理。确保已安装 Git 和 Conda 包管理器。

2. 克隆仓库： 从 GitHub 拉取 HarnessEval-W 代码库。执行命令 git clone https://github.com/mirros-lab/harnesseval-w.git，进入项目目录。

3. 创建独立环境： 分别创建三个 conda 环境以隔离不同依赖：

   • conda create -n harnesseval-main python=3.9（用于主框架）
   • conda create -n harnesseval-metrics python=3.9（用于指标计算）
   • conda create -n harnesseval-pavrm python=3.9（用于 PavRM 模型）
     每个环境根据项目提供的 environment.yml 安装对应依赖包。

4. 配置凭证与变量： 复制 config/example.env 为 harnesseval.env，并根据实际环境修改其中的 API 密钥、模型路径等参数。使用 source harnesseval.env 加载环境变量，确保评测框架能正确访问所需资源。

5. 准备评测数据： 将待评测模型生成的视频结果放入指定目录（如 data/results/），并准备好 manifest.json 清单文件，其中需包含每个案例的动作序列、初始状态描述等元信息。清单格式可参考项目示例。

6. 执行评测： 运行 harnesseval eval 命令，指定模型结果路径、评测计划（可选默认计划）和输出目录。系统将自动启动 Plan-Router-Decompose-Verify 工作流，对每个案例进行动态评测。可通过 --plan 参数指定自定义评测计划。

7. 验证与查看报告： 执行 harnesseval verify run 检查评测输出是否完整、分数是否正常生成。最终在输出目录中查看 summary.json（汇总分数）、leaderboard_latest.csv（排名表）和 LEADERBOARD.md（可读报告），获取详细评分与推理链。

注意事项： 建议在首次运行前阅读 docs/quickstart.md 文档；若需评测自定义模型，需确保输出视频格式与分辨率符合要求；Skill Library 的扩展需遵循插件接口规范，详见 docs/skill_development.md。

4. 优缺点分析

5. 同类工具对比

选型建议： 若评测对象为交互式世界模型（如视频生成模型需支持动作输入、状态转移），HarnessEval 是当前唯一能提供动态规划、可解释证据链和物理因果评估的系统，尤其适合研究团队和需要深度诊断模型失败模式的企业。若评测对象为传统视频生成模型（如文生视频、图生视频），且仅需快速获取视觉质量分数，VBench 或 FVD+CLIP 组合更为轻量、成熟，部署成本更低。对于需要高度定制评测维度的场景，HarnessEval 的可扩展 Skill Library 提供了更大的灵活性，但需要一定的开发投入。

6. 编辑总结

HarnessEval 在评测方法论上做出了重要创新，将智能体技术引入评估流程，实现了从静态指标到动态推理的范式转变。其四层 Agentic 工作流和分层智能体架构，使评测不再是简单的分数计算，而是一个可解释、可复现的智能分析过程。特别是 Evidence Tree 的输出，让每个分数都有据可查，这对模型开发者定位具体失败模式（如物理违规、目标漂移）具有实际价值。从实用价值看，HarnessEval-W 已落地于交互式世界模型评测，填补了该领域缺少系统化评估工具的空白。对于具身智能、自动驾驶、游戏生成等强交互场景的研发团队，该工具能显著降低人工评估成本，提升迭代效率。适用人群主要为 AI 研究员、算法工程师和评测工程师，尤其是从事世界模型、视频生成和机器人仿真的团队。未来发展潜力方面，随着 Skill Library 的扩展和社区贡献的增加，HarnessEval 有望成为交互式 AI 系统的标准评测平台。不过，当前版本在易用性、文档完善度和硬件适配方面仍有改进空间，期待后续版本能降低使用门槛，并拓展到更多模型类型。

7. 应用场景

• 交互式世界模型评测： 评估视频生成模型在动作条件下的状态转移正确性、物理合理性与世界持续性。研究者可输入动作序列和初始状态，HarnessEval 自动规划评测路径，输出包含证据树的详细报告，定位模型在物体交互、重力响应等维度的具体问题。

• 具身智能与机器人仿真： 评测机器人在虚拟环境中的操控能力、物理交互因果与长期状态一致性。例如，评估机器人抓取动作是否导致物体正确位移，以及环境在机器人离开后是否保持状态不变。HarnessEval 的物理因果技能可专门检测这类行为。

• 自动驾驶世界模型： 验证生成场景中的相机轨迹遵循、物体 permanence、离屏演化与物理动力学合理性。自动驾驶团队可使用 HarnessEval 对世界模型生成的连续帧进行因果检查，确保车辆、行人等元素的运动符合物理规律。

• 游戏与虚拟世界生成： 评估开放世界游戏的场景一致性、NPC 行为因果、重访一致性与视觉质量。游戏开发者可通过 HarnessEval 自动检测场景中物体是否在玩家离开后发生不合理变化，或 NPC 行为是否遵循预设逻辑。

• AI 视频创作平台： 为 Seedance、Kling、Sora 等模型提供可解释的质量诊断，定位具体失败模式如额外事件、目标漂移、物理违规。平台运营方可将 HarnessEval 集成到质检流程中，自动筛选不合格生成内容并给出修改建议。

8. 常见问题FAQ

Q：HarnessEval 与 VBench 的主要区别是什么？
A：HarnessEval 专门针对交互式世界模型设计，支持动作输入和状态转移验证，采用 Agentic 工作流动态规划评测路径，输出可追溯的证据树；VBench 则面向传统视频生成模型，使用固定指标流水线，输出标量分数。HarnessEval 更注重可解释性和物理因果评估，而 VBench 更轻量、成熟。

Q：如何安装 HarnessEval？需要哪些硬件配置？
A：从 GitHub 仓库克隆代码，创建三个 conda 环境并安装依赖。硬件推荐 NVIDIA GPU（至少 8GB 显存），系统要求 Linux/macOS，Python 3.8+。详细步骤请参考项目 README 和 docs/quickstart.md。

Q：是否支持自定义评测技能？如何扩展 Skill Library？
A：支持。Skill Library 设计为可扩展架构，用户可按照项目提供的插件接口开发新技能模块，注册到框架中。开发文档位于 docs/skill_development.md，示例技能可参考内置的 9 个核心模块。

Q：评测结果中的 Evidence Tree 如何解读？
A：Evidence Tree 是一个层级结构，根节点为最终评分，子节点为各技能模块的评估结果，叶节点为具体的工具调用和视觉证据。每个节点都包含推理链和置信度，用户可逐层展开查看分数依据，便于定位模型的具体失败模式。

Q：HarnessEval 是否支持商业使用？许可证是什么？
A：项目采用开源许可证（具体请查看仓库中的 LICENSE 文件），支持学术和商业用途。但需注意部分依赖组件可能具有不同许可证，使用前请确认合规性。

Q：评测过程中出现错误或分数缺失怎么办？
A：首先运行 harnesseval verify run 检查输出完整性。常见原因包括：数据格式不符合要求、manifest.json 字段缺失、GPU 显存不足导致子任务超时。可查看 logs 目录下的运行日志定位具体错误，并根据错误提示调整配置或数据。

9. 项目地址

• 产品官网： https://mirros.ai/blog/harnesseval
• GitHub 仓库： https://github.com/mirros-lab/harnesseval-w