WorkBuddy Bench – 腾讯开源的编码智能体评测套件

1. WorkBuddy Bench是什么

WorkBuddy Bench是腾讯开源的编码智能体评测套件，旨在为代码、网页、办公、安全四大真实场景下的AI智能体提供标准化能力评估。该套件包含260个任务，全部从真实代码提交、Pull Request及业务场景逆向构建，并改写为口语化角色扮演请求以抵抗数据污染。在隔离Docker沙箱中，通过隐藏测试、规则检查与LLM评判等多种评分机制进行多元评分，并在双智能体框架下交叉验证，实现了开源可复现、可审计的端到端评测。

技术定位与领域： 属于AI评测与基准测试领域，专注于编码智能体（Code Agent）的能力评估，覆盖软件工程、前端开发、办公自动化与网络安全四大方向。与现有仅聚焦代码修复的基准（如SWE-bench）不同，WorkBuddy Bench将评测范围扩展至多领域、多文件、多角色的真实工作流。

研发背景： 由腾讯AI Lab开发，基于内部实际使用场景和需求，旨在解决现有基准测试覆盖单一、易受数据污染、不可复现、不可审计等问题。团队在智能体框架（CodeBuddy）和评测方法论上有长期积累，该套件是内部实践的开源输出。

核心价值： 提供了首个覆盖多领域、完全开源、可审计的编码智能体评测标准。帮助企业、研究者和开发者客观衡量智能体在真实工作流中的表现，支持模型选型、产品迭代和学术对比，推动领域基准的透明化和可复现性。

技术特点： 采用逆向工程构建任务、口语化请求、刻意信息不充分、回合后评估隔离、双框架交叉验证等创新机制。任务从真实commit/PR/CVE逆向，改写为简短口语化请求，使提示词无法通过搜索引擎还原；智能体解题期间无法接触评分资产，避免信息泄露；所有任务在CodeBuddy Code与Claude Code两种框架下分别运行，消除单一框架的系统性偏差。

2. 主要功能

• 代码任务评估： 覆盖80个仓库级软件工程任务，包括bug修复、功能开发、接口调整、算法实现等18个类别。任务由开发者、算法工程师、产品经理、QA、运维五种角色发起请求，测试智能体在不同角色视角下的代码理解与修改能力，评估其上下文感知和精准定位能力。

• 网页前端评估： 70个前端任务，覆盖页面实现、交互设计、数据可视化、视觉设计、代码测试、文档转换等7个类别。要求智能体交付可运行的前端制品（HTML/CSS/JS）而非对话文本，通过规则检查、语义匹配与VLM交互三重评判，确保输出质量和功能完整性。

• 办公流程评估： 50个多文件业务流程任务，智能体需处理电子表格、文档、PDF、JSON等混合格式文件，完成数据核对、报告生成、状态更新等交接型工作。采用规则检查与证据驱动的LLM评判器，要求智能体在跨文件上下文中保持一致性。

• 安全能力评估： 60个红蓝队安全任务，包括漏洞发现与利用、恶意软件分析、安全运营、AI智能体安全评估。采用确定性评分脚本（scoring.py），无LLM评判器参与，确保评分结果的绝对可复现性和客观性。

• 多维度评分体系： 代码子集通过隐藏单元测试评分，网页子集通过规则+LLM/VLM+智能体评判器评分，办公子集通过规则检查与证据驱动的LLM评判器评分，安全子集通过确定性脚本评分。各子集评分工具独立设计，避免单一评判器带来的偏差。

• 抗污染机制： 任务构建方式封闭可搜索提示路径，请求改写为简短口语化角色扮演形式，无法通过搜索引擎还原为原始问题。配合数据集版本管理定期刷新，替代传统保密式防污染方案，实现可持续的抗污染能力。

• 双框架交叉验证： 所有任务在CodeBuddy Code与Claude Code两种智能体框架下分别运行，消除单一框架的系统性偏差。排行榜同时报告token消耗与轮次效率，帮助区分效率与能力的真实贡献。

3. 如何使用

1. 环境准备与任务获取： 访问GitHub仓库（github.com/Tencent/workbuddy-bench）下载标准化任务目录。每个任务包含instruction.md（任务指令）、task.toml（元数据配置）、environment/（Docker环境镜像）与tests/（评分资产）。需要本地安装Docker并确保网络可拉取镜像。

2. 智能体接入与配置： 将待评测的编码智能体接入Harbor风格任务目录。智能体需能够读取自然语言请求（instruction.md），并自主探索工作区（environment/）中的文件和上下文。建议提前测试智能体的文件读写、命令执行和网络访问能力。

3. 执行评测： 在隔离Docker沙箱中运行评测命令。智能体根据口语化角色扮演请求，在限定轮次内完成代码修改、前端生成、办公处理或安全操作。任务完成后自动触发评分器，各子集评分脚本独立运行。

4. 结果查看与审计： 评分完成后，查看各子集得分、token消耗、轮次效率等指标。排行榜同时展示能力分数与成本效率，便于综合分析。第三方可离线重新运行单个任务并直接检查其内容，实现端到端可复现与可审计。所有评分资产（测试、评分细则、参考答案）均公开，支持独立验证。

4. 优缺点分析

5. 同类工具对比

选型建议： 如果团队主要关注代码缺陷修复能力，SWE-bench是经过广泛验证的经典基准，但其覆盖领域单一且易受数据污染。如果需要评估智能体在多个真实工作场景（代码、前端、办公、安全）中的综合能力，WorkBuddy Bench是更全面的选择，且完全开源可审计。CursorBench提供便捷的在线评测，但数据集封闭，不适合需要深入分析和复现的研究场景。AgentBench覆盖更广泛的任务类型，但在真实工作流还原和抗污染机制上不如WorkBuddy Bench深入。

对于企业模型选型，建议以WorkBuddy Bench为主基准，辅以SWE-bench进行代码专项对比；学术研究可基于WorkBuddy Bench的完全开源特性进行复现和改进；安全团队可重点关注安全子集，并结合内部渗透测试进行补充验证。

6. 编辑总结

WorkBuddy Bench在编码智能体评测领域展现了显著的技术创新。其核心突破在于将评测从单一代码修复扩展到代码、网页、办公、安全四大真实场景，并通过逆向工程构建、口语化请求、刻意信息不充分等机制有效抵抗数据污染，解决了现有基准普遍存在的“刷榜”问题。双框架交叉验证的设计进一步消除了单一框架的系统性偏差，使评测结果更具说服力。从实用价值看，该套件完全开源、可审计，任务集、环境镜像、评分代码全部公开，为行业提供了可复现的标准化评测平台，有助于推动编码智能体技术的透明化竞争。适用人群包括AI智能体研发团队、大模型选型决策者、安全研究人员以及学术界从事智能体评估的学者。未来发展潜力方面，随着任务集的版本管理和定期刷新，以及社区贡献机制的建立，WorkBuddy Bench有望成为编码智能体领域的权威基准，促进智能体在真实工作流中的落地和优化。建议团队持续扩展任务类型和数量，并引入更多智能体框架的交叉验证结果，以保持评测的前沿性和代表性。

7. 应用场景

• 智能体研发基准： 编码智能体开发团队可使用WorkBuddy Bench作为标准化能力标尺，在代码、网页、办公、安全四个维度上衡量智能体的真实表现，定位能力短板并针对性优化。例如，通过网页子集的评分发现前端状态管理能力的不足，进而改进智能体的上下文建模。

• 模型选型参考： 企业在大模型选型时，可参考WorkBuddy Bench排行榜，对比Claude Opus 4.8、GPT-5.5、GLM-5.2、DeepSeek-V4等主流模型在四个子集上的得分与token效率，结合自身业务场景选择性价比最优的模型。

• 学术研究与对比： 研究人员可利用完全开源的任务集与评分协议进行第三方复现、审计与改进，推动领域基准迭代。例如，基于任务目录设计新的抗污染机制或评分方法，并与现有结果进行对比。

• 产品迭代优化： 通过细分的子集得分与token效率数据，定位智能体在代码导航、前端状态管理、跨文件一致性等具体环节的短板。产品团队可据此制定迭代优先级，提升智能体在真实工作流中的完成度。

• 安全能力评估： 安全团队可独立运行安全子集，对AI智能体的漏洞发现、利用、恶意软件分析等能力进行量化评估。确定性评分脚本确保结果可复现，适合作为红蓝队演练的补充工具。

8. 常见问题FAQ

Q：WorkBuddy Bench与其他编码智能体基准（如SWE-bench）有何核心区别？
A：WorkBuddy Bench覆盖代码、网页、办公、安全四大领域，而SWE-bench仅聚焦代码缺陷修复。任务构建方式上，WorkBuddy Bench从真实commit/PR/业务场景逆向工程，并改写为口语化角色扮演请求，抗污染能力更强。同时WorkBuddy Bench完全开源可审计，支持第三方复现。

Q：如何保证评测的公平性，防止智能体通过记忆答案获得高分？
A：采用多重抗污染机制：任务请求改写为简短口语化形式，无法通过搜索引擎还原；刻意省略目标文件、精确接口等细节，智能体必须自行从工作区恢复上下文；评分资产在智能体完成解题后才引入沙箱，避免信息泄露；数据集版本管理定期刷新。

Q：运行WorkBuddy Bench需要什么样的硬件环境？
A：需要Docker环境，建议配备至少16GB内存和50GB磁盘空间。部分任务（如网页渲染、安全渗透测试）可能需要GPU支持，但大多数任务可在CPU上完成。具体镜像要求见各任务目录中的Dockerfile。

Q：如何贡献新的任务或改进现有任务？
A：WorkBuddy Bench是开源项目，欢迎社区通过GitHub提交Pull Request。新任务需遵循Harbor风格任务目录结构，提供instruction.md、task.toml、环境镜像和评分脚本。建议先阅读技术论文和已有任务示例，确保任务质量和一致性。

Q：LLM评判器在网页和办公子集中是否会引入评分偏差？
A：网页子集采用规则+LLM/VLM+智能体评判器三重评判，办公子集采用规则检查与证据驱动的LLM评判器，多维度交叉验证降低单一评判器偏差。团队会定期校准评判器版本，并在排行榜中标注使用的LLM版本，确保评分透明。

9. 项目地址

• 项目官网： https://workbuddybench.com/
• GitHub仓库： https://github.com/Tencent/workbuddy-bench
• HuggingFace数据集： https://huggingface.co/datasets/tencent/workbuddy-bench
• 技术论文： https://workbuddybench.com/report/main.pdf