BlenderWorld – Qwen 开源的 3D 创作 Agent 评测基准

1. BlenderWorld是什么

BlenderWorld 是 Qwen 团队联合浙江大学、香港中文大学、复旦大学及新加坡国立大学共同推出的 3D 创作 Agent 评测基准，包含 223 项真实制作任务，用于检验 AI 系统能否根据照片、视频或设计规格，在 Blender 环境中交付可编辑的 3D 工程文件。该基准通过多视角渲染与原生工程结构检查的双轨评审机制，以 2,651 条验收标准综合衡量需求完成度与视觉质量。实测 13 个主流系统中，表现最强的 GPT-6-Astra 也仅有 42.2% 的任务完全达标，这一数据直观反映出当前视觉 Agent 在 3D 工程交付可靠性上的显著短板。

技术定位与领域： BlenderWorld 属于三维内容生成与智能体评估的交叉研究方向，聚焦于视觉语言模型驱动 Blender 完成完整 3D 制作流程的工程化评测。不同于传统文生 3D 或图生 3D 模型的资产质量评估，该基准明确要求交付可编辑的 .blend 工程文件，将评测对象从"模型生成能力"升级为"Agent 端到端任务执行能力"，填补了 3D 创作智能体标准化评估的空白。

研发背景： 该基准由 Qwen 团队发起，联合浙江大学、香港中文大学、复旦大学和新加坡国立大学等学术机构共同完成。研究团队观察到，尽管多模态大模型在 3D 内容生成领域展现出潜力，但业界缺乏一套能够客观衡量 Agent 在真实制作工具链中交付可靠工程的评测体系。现有基准多集中于资产纹理质量或几何精度，忽视了建模、材质、灯光、动画等完整制作环节，因此团队构建了这一面向真实工作流的评估框架。

核心价值： BlenderWorld 解决了 3D 创作 Agent 领域"无标准可依"的痛点。其 2,651 条验收标准经过多轮模型评审与人工核对后冻结，并对被测 Agent 不可见，大幅压缩了针对性优化或投机取巧的空间。双轨评审机制中，视觉语言模型负责评估渲染图像与视频的外观表现，工程检查 Agent 则深入 .blend 文件内部核对精确尺寸、节点结构、动画配置等渲染图无法暴露的硬性指标，形成了视觉维度与工程维度互补的立体评估体系。

技术特点： BlenderWorld 首创"先评审、后交付"的评测范式，要求 Agent 在 Blender 环境中完成从需求解析到工程输出的完整闭环。其任务设计覆盖 9 大类 22 子类场景，支持图片、视频与纯规格文件三种参考输入形态，并自动生成 8 个互补视角的 Cycles 渲染证据，为每条失败轨迹提供可追溯的诊断依据。

2. 主要功能

• 完整 3D 创作流程评测： 评测任务要求 Agent 从需求描述与参考素材出发，独立完成建模、材质设计、灯光布置、相机设置及动画配置等全部制作环节，最终交付可编辑的 .blend 工程文件。与仅要求生成静态资产的基准不同，BlenderWorld 将"工程可用性"作为核心验收项，未提交工程文件的作品直接记零分，这一机制确保评测结果真实反映 Agent 的实用价值而非展示性效果。

• 多参考素材与多模态输入支持： 任务体系内包含 130 个图片参考任务、15 个视频参考任务与 78 个纯规格文件任务。图片任务考察 Agent 的视觉理解与三维重建能力，视频任务额外检验其对运动规律和时间序列信息的捕捉，纯规格任务则考验从抽象文本约束出发的推理设计能力，三类输入共同构建立体的能力评估矩阵。

• 宽领域任务覆盖： 评测内容横跨建筑室内设计、产品制造、车辆机械、角色动物、自然环境、动画仿真、科学可视化等 9 大类别并细分为 22 个子类场景。覆盖面的广泛性使得评测结果具有充分的泛化代表意义，开发者可以依据子类得分精准定位模型在特定领域的优势与不足。

• 双轨自动评审体系： 系统采用视觉语言模型（VLM）与工程检查 Agent 协同工作的双轨评审策略。VLM 负责分析渲染图像和视频序列，判断视觉外观、空间布局与运动合理性；工程检查 Agent 通过工具直接读取 .blend 文件的原生结构、属性参数与节点连接关系，核对渲染图无法呈现的精确尺寸、内部结构和动画配置信息，仅必要时才参考视觉证据辅助判断。

• 多视角证据自动生成： 评测环境在独立沙箱中读取 Agent 提交的工程，依据任务类型与验收条件，利用 Automatic Agent Render 工具自动挑选 8 个互补视角，以 1024×1024 分辨率、64 采样数通过 Cycles 渲染器生成视觉证据。视频类任务额外采集有序帧序列作为运动证据，确保评审材料完整覆盖物体的各个维度和动态表现。

• 双维度综合评分机制： 评分体系采用 Rubric 验收分与 Dimension 观感分各占 50% 的加权综合分，同时单独报告 Perfect 通过率（指全部验收标准均达标的任务占比）。该机制在量化需求满足程度的同时兼顾视觉质量的主观维度，为开发者提供多维度的模型能力画像，避免单一指标造成的评估偏差。

3. 如何使用

1. 安装 ModelScope SDK： 首先在 Python 环境中执行 pip install -U modelscope 安装 ModelScope 数据下载工具。建议使用 Python 3.8 及以上版本，并确保网络环境可正常访问 ModelScope 开源社区。

2. 下载基准数据集： 运行 dataset_snapshot_download(dataset_id="Qwen/BlenderWorld", local_dir="./BlenderWorld-data") 命令，将包含 223 项任务需求、参考素材及验收标准的完整数据集拉取至本地。数据集包含图片、视频与规格文件三种类型的参考输入，总数据量约为数 GB 级别。

3. 接入自有 3D Agent： 将待评测的 Agent 接入 Blender 环境，使其能够读取任务需求文档与参考素材，自主完成建模、材质、灯光、相机、动画等制作流程，最终输出 .blend 工程文件及配套的渲染媒体文件。接入时需确保 Agent 具备操作 Blender Python API 的权限。

4. 提交作品并接受双轨评测： 将生成的工程文件提交至独立评测环境。系统将自动执行多视角渲染取证，由 VLM 评审渲染图像与视频，工程检查 Agent 核对 .blend 文件内部结构，整个过程无需人工干预。注意评测环境不允许 Agent 修复工程内容，原始导出媒体为保留基准。

5. 查看多维评分结果： 评测完成后获取 Rubric 验收分、Dimension 观感分、综合分及 Perfect 通过率四项指标，利用失败轨迹报告定位 Agent 在任务执行中的薄弱环节，为后续迭代优化提供数据支撑。

4. 优缺点分析

5. 同类工具对比

在不同场景下的选型建议：对于正在开发 Blender 自动化生产管线或 3D 内容生成 Agent 的团队，BlenderWorld 是唯一能够量化"完整工程交付"能力的评测基准，其双轨评审机制和防作弊设计特别适合作为模型迭代的回归测试工具。研究者可以借助 223 项任务的细分标签定位模型在建模、动画、仿真等具体环节的能力边界，从而制定针对性的优化方案。

对于以资产生产效率为目标的团队，3DGen-Bench 的千级规模提示库和软性评分体系更适合快速评估模型的批量生成质量，但其不考核工程可编辑性，评测结果与工业化生产的真实需求存在一定距离。若需要在两者之间权衡，建议以 BlenderWorld 的核心指标作为长期能力标尺，以 3DGen-Bench 的主观偏好分数作为辅助参考，形成互补的双轨评估策略。

6. 编辑总结

BlenderWorld 的推出为 3D 创作 Agent 领域建立了首个以"工程交付可靠性"为核心的评测标准，其技术价值主要体现在三个层面。其一，2,651 条二元硬验收标准的构建方法学具有重要的参考意义，团队通过多模态模型生成需求、人工核对、多轮交叉评审并冻结标准的流程，极大减少了评测规则本身的歧义和被利用的可能性。其二，双轨评审机制的设计具备技术前瞻性——视觉语言模型评估渲染图像的同时，工程检查 Agent 深入 .blend 文件内部核查原生结构，有效覆盖了光学渲染无法呈现的精确尺寸、节点链结和动画配置信息，这一范式对后续其他领域的 Agent 评测具有方法论层面的启发价值。其三，223 项任务覆盖 9 大类 22 子类场景，支持图片、视频和纯规格文件三类输入，评测维度既有建模、材质、灯光等静态要素，也包含动画、仿真等动态环节，在评测广度上具有较强代表性。

从实用价值角度审视，BlenderWorld 的核心指标对产业界具有直接的选型指导意义。实测数据表明，即使目前表现最优的 GPT-6-Astra 也仅实现 42.2% 的 Perfect 通过率，这一量化结论清晰标定了当前视觉 Agent 在 3D 制作能力上的整体水位线，为后续技术发展提供了可量化的追赶目标。该基准面向三类核心用户群体：开发 3D 自动化工具的工程团队可利用其进行回归测试与能力诊断；大模型厂商可在统一的验收标准下横向对比自研系统的交付可靠性；学术界可将该基准作为标准评估工具，支撑相关论文的量化论证与社区排行榜建设。

就未来发展潜力而言，BlenderWorld 的评测理念具备向更多行业软件延伸的潜力。目前任务规模为 223 项，随着更多研究机构的参与和任务库的持续扩充，其在统计区分度与覆盖细粒度能力上将进一步提升。若后续能够针对不同模态输入提供分层评分报告，并在工程检查维度上扩展对刚体模拟、粒子系统等复杂能力的验证，该基准有望成为 3D 创作智能体领域事实上的行业标准。

7. 应用场景

• 3D Agent 能力评测： 为专注于 Blender 自动化工具开发的团队提供标准化测试场。开发者可将自研 Agent 接入基准环境，通过 223 项任务系统量化其在重建、修改、参考式设计三类创作能力上的表现，得到可横向对比的能力图谱。

• 大模型选型对比： 企业与研究机构可在同一套 2,651 条验收标准下，横向比较不同闭源与开源多模态模型的 3D 交付可靠性。综合分与 Perfect 通过率两项指标为技术选型决策提供了明确的量化依据，减少主观评估带来的偏差。

• 模型迭代回归测试： 在 Agent 或基座模型每次版本升级后运行 BlenderWorld 基准，通过 Perfect 分数的升降和失败轨迹的变化，精准定位能力退化或提升的具体环节。该场景特别适合产品化团队在持续集成流程中嵌入自动化评测环节。

• 失败分析与能力补强： 利用评测系统自动生成的多视角渲染证据与执行轨迹报告，深入诊断 Agent 在特定场景下的典型缺陷（如材质参数设置错误、动画时序偏差或尺寸精度不足），据此优化模型的自检逻辑与修复策略。

• 科研基准与社区榜单： BlenderWorld 以开源形式发布，可作为 3D 视觉 Agent 研究领域的标准评测工具支撑论文实验，同时支持社区排行榜建设，为领域内的成果比较和学术交流提供统一的性能参照系。

8. 常见问题FAQ

Q：BlenderWorld 与常见的 3D 生成模型评测基准有何本质区别？
A：传统 3D 生成基准（如 3DGen-Bench、T3Bench）关注模型输出的网格和纹理质量，属于资产质量评估。而 BlenderWorld 评测的是 Agent 在完整制作流程中的工程交付能力，要求产出可编辑的 .blend 工程文件，涵盖建模、材质、灯光、动画等全环节，其核心指标"未提交工程记零分"直接锚定了实用导向的评估逻辑。

Q：使用 BlenderWorld 需要具备哪些硬件条件？
A：训练与评测环境的硬件需求取决于被测 Agent 的规模。数据集下载与工程评审仅需普通工作站的 CPU 算力即可完成，但 Cycles 多视角渲染（1024×1024、64 samples）存在较高的 GPU 计算需求。建议配备支持 CUDA 的 NVIDIA GPU（至少 8GB 显存）以加快评测流程。具体硬件要求建议参考项目 GitHub 仓库的最新说明。

Q：Agent 在评测过程中可以修改工程文件吗？
A：不可以。评测环境中的 Automatic Agent Render 可以调整相机与渲染参数，但严格禁止修复工程内容的任何操作。原始导出的媒体文件是评审保留基准，这一约束确保评测结果反映 Agent 的真实输出质量，防止通过渲染后处理掩盖工程缺陷。

Q：BlenderWorld 的验收标准是如何确保客观性的？
A：验收标准经历了多重质检流程：首先由多模态模型生成并改写任务需求，经人工核对参考资料与图文一致性；随后从需求、参考素材和附件中提取验收条件，再经过试评测与至少两个独立评审模型交叉检查后冻结为 6-22 条二元标准。每条标准按重要性赋权（3/2/1），且全程对被测 Agent 不可见。

Q：如何理解综合分与 Perfect 通过率的区别？
A：综合分按 0.5 × Rubric 验收分 + 0.5 × Dimension 观感分加权计算，体现了对需求完成度与视觉质量的双重关注。Perfect 通过率则统计全部验收标准均满足的任务占比，是更为严格的可靠性指标，用以区分"大部分需求覆盖"与"完整可靠交付"两个层次的模型能力。

Q：BlenderWorld 支持对闭源商用模型进行评测吗？
A：支持。该基准以任务数据集和评测协议的形式提供，不涉及对被评测 Agent 的开源限制，闭源商用模型可通过 API 或本地部署方式接入 Blender 环境参与评测。这也是实测中包含 GPT-6-Astra 等商用系统的原因所在。

9. 项目地址

• 项目官网：https://blenderworld.github.io/
• GitHub 仓库：https://github.com/QwenLM/BlenderWorld
• 技术论文：https://github.com/QwenLM/BlenderWorld/blob/main/docs/BlenderWorld__Benchmarking_Visual_Agents_for_3D_Creation_from_Real_World_References.pdf
• HuggingFace 数据集：https://huggingface.co/datasets/Qwen/BlenderWorld