MineExplorer – 美团推出的开放世界分钟级长程任务评测基准

1. MineExplorer是什么

MineExplorer是美团LongCat团队推出的首个基于Minecraft的开放世界分钟级长程任务评测基准。该基准包含813个1-4跳人工验证实例，任务设计采用隐藏前置条件，指令不枚举依赖图，要求模型自主推断子任务。MineExplorer主动剥离游戏专有知识，仅测试通用动态探索能力，并配套五智能体协作数据合成与规则化里程碑自动评测框架，代码与数据集已开源。

技术定位与领域： MineExplorer属于多模态大模型评测领域，专注于开放世界长程任务规划与推理能力的评估。与现有静态问答或单步评测不同，它强调在动态交互环境中的持续决策能力，填补了分钟级长程任务评测的空白。

研发背景： 由美团LongCat团队研发，旨在解决当前评测基准缺乏分钟级长程任务、过度依赖游戏专有知识、评测过程需人工干预等问题。团队在具身智能与评测领域有深厚积累，该基准是其推动通用Agent能力评估的重要成果。

核心价值： 为多模态大模型提供标准化、可复现的开放世界探索能力评测。通过隐藏前置条件和知识解耦设计，真正测试模型的通用动态探索能力，推动长程推理、自主规划和隐式任务分解等前沿研究。

技术特点： 基于实时3D沙盒环境，每个任务运行1800环境步；采用隐式DAG任务建模，指令不枚举依赖图；通过五智能体协作自动生成任务，有效率提升约30%；规则化里程碑检查器实现自动评分，无需人工标注，结果可复现。

2. 主要功能

• 分钟级开放世界评测： 基于Minecraft实时3D沙盒，每个任务运行1800环境步（约3分钟）。模型需根据动态画面持续调整策略，而非单步回答，真实考验长程规划与动态适应能力，与静态评测形成本质区别。

• 隐藏前置多跳任务： 提供813个1-4跳人工验证实例，指令仅给出最终目标，不枚举依赖图。模型必须自主推断隐藏子任务及其依赖关系，完成隐式任务分解与执行，有效测试高层规划与推理能力。

• 知识解耦评测： 主动剥离Minecraft专有机制，仅保留依赖通用世界常识的任务。通过LLM裁判过滤领域知识，确保评测聚焦于通用动态探索能力，避免游戏知识带来的偏差，提高评测的泛化意义。

• 规则化自动评测： 将子任务转化为可自动执行的里程碑检查器，基于背包物品、坐标区域等量化指标自动计算任务成功率（TSR）和里程碑成功率（MSR）。无需人工标注，结果可复现，支持多模型横向对比。

• 多智能体数据合成： 五Agent协作自动生成任务，包括任务选择、场景设计、里程碑设计、Minecraft专家审查与验证全流程。相比单智能体有效率提升约30%，支持1-12跳自定义扩展，大幅降低人工造题成本。

• 细粒度能力拆解评估： 借鉴ReAct范式，将开放世界探索能力系统拆解为感知、推理、行动三大维度共14项细粒度指标。提供全面的能力画像，帮助研究者精准定位模型在物体识别、路径规划、动作执行等环节的短板。

3. 如何使用

1. 环境要求与准备： 克隆GitHub仓库至本地，确保已安装Python 3.9+及Minecraft相关运行环境（Java 17+）。推荐使用Linux系统，配备至少16GB内存和NVIDIA GPU（建议RTX 3090以上）以流畅运行沙盒环境。

2. 启动评测环境： 配置并启动Minecraft沙盒服务端，执行启动脚本（如python launch_server.py）。确保评测环境可实时运行并接收模型动作指令，验证环境连通性后加载MineExplorer提供的评测实例。

3. 运行基准评测： 将待测多模态模型接入环境，模型根据实时画面输出动作序列。运行评测主程序（如python run_evaluation.py --model your_model），系统自动加载813个验证实例并执行，每个实例运行1800步。

4. 自动评分与结果查看： 评测结束后，系统自动调用规则化里程碑检查器，依据背包物品、坐标区域等量化指标计算TSR与MSR得分。评测报告自动输出各维度得分，支持按模型与难度分层对比，便于能力分析。

5. 自定义任务生成： 运行多智能体数据合成脚本（如python generate_tasks.py --hops 4），配置任务跳数（1-12跳）。五个协作Agent自动生成含隐藏前置条件的新任务实例，生成后建议人工验证质量。

6. 训练与迭代： 将生成任务作为训练数据输入模型，在Minecraft沙盒中反复执行探索-反馈循环。支持在线学习与离线训练两种模式，可结合强化学习框架提升开放世界长程规划能力。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于希望评测多模态大模型在开放世界长程规划与动态适应能力的研究者，MineExplorer提供了更贴近真实交互的评测环境，其隐藏前置任务设计和知识解耦机制更具挑战性和泛化意义。如果研究重点在于利用互联网知识完成复杂任务，MineDojo的大规模知识集成和创意任务评测更为合适。而对于室内结构化环境中的具身任务研究，ALFRED和Habitat提供了成熟的标准化基准，尤其在导航和物体交互方面有深厚积累。实际选型时应根据评测目标、环境复杂度与知识依赖需求综合判断。

6. 编辑总结

MineExplorer在技术创新上具有显著亮点：首创分钟级开放世界评测，将任务时长从单步扩展至1800步动态交互，填补了长程规划评测的空白；隐式DAG任务建模迫使模型自主推断子任务，提升了评测的挑战性与真实感；知识解耦设计通过LLM裁判过滤领域专有知识，确保评测聚焦通用能力，减少了游戏知识带来的偏差。多智能体协作造题与规则化自动评测框架则大幅降低了人力成本，提高了评测的可复现性。从实用价值来看，该基准为多模态大模型提供了标准化、可扩展的开放世界探索能力评估平台，有助于推动Agent在动态环境中的规划与决策研究。其适用人群主要包括多模态AI研究者、具身智能开发者以及模型选型工程师。未来，MineExplorer可进一步扩展至更多跳数、更多环境（如室内、户外模拟器），并丰富评测维度，有望成为通用动态探索能力评测的重要参考标准。

7. 应用场景

• 多模态大模型能力评测： 作为标准化考场，为Claude、GPT、Gemini等顶级MLLM提供动态开放世界长程规划与推理的评测。通过1800步交互和隐藏前置任务，全面评估模型的感知、推理和行动能力，输出14项细粒度指标。

• Agent训练环境： 在Minecraft沙盒中，模型通过反复执行探索-反馈循环，提升感知-推理-行动闭环能力。支持在线学习和离线训练，可自定义任务难度与跳数，加速Agent迭代。

• 模型选型参考： 为工业界提供开放世界探索能力的横向对比leaderboard，辅助选型与能力边界评估。通过细粒度指标和分层对比，帮助开发者选择最适合特定场景的模型。

• 学术研究平台： 推动长程推理、隐式任务分解、视觉grounding与行动对齐等前沿方向研究。开源代码和数据集降低研究门槛，支持自定义扩展，促进社区协作。

• 具身智能预研验证： 为机器人、自动驾驶等真实物理世界应用提供低成本的能力验证沙盒。在受控环境中测试规划与适应能力，加速技术从模拟到现实的迁移。

8. 常见问题FAQ

Q：MineExplorer对硬件有什么要求？
A：运行Minecraft沙盒和评测框架建议使用Linux系统，配备至少16GB内存和NVIDIA RTX 3090及以上显卡。CPU建议4核以上，Java 17+环境。低配置可能导致沙盒运行缓慢，影响评测效率。

Q：如何将我的模型接入MineExplorer评测？
A：模型需要实现标准接口，接收实时画面并输出动作序列。评测框架提供了示例代码和API文档（参见GitHub仓库的examples目录），按照指南配置模型接入即可。

Q：MineExplorer的评测指标具体有哪些？
A：主要指标包括任务成功率（TSR）和里程碑成功率（MSR），以及感知、推理、行动三大维度共14项细粒度指标，如物体识别准确率、路径规划效率、动作执行成功率等。

Q：MineExplorer与MineDojo的主要区别是什么？
A：MineExplorer聚焦于通用动态探索能力，隐藏前置任务且剥离游戏专有知识；MineDojo强调利用互联网知识完成任务，任务指令明确。两者评测目标不同，可互为补充。

Q：如何生成自定义任务？
A：运行多智能体数据合成脚本（python generate_tasks.py --hops N），配置任务跳数（1-12跳）。五个协作Agent自动生成含隐藏前置条件的新任务，生成后建议人工验证任务质量与难度。

Q：评测结果是否可复现？
A：是的。规则化里程碑检查器基于背包物品、坐标区域等量化指标自动评分，每次评测结果一致。支持多模型对比，结果可复现，适合学术研究与工业选型。

9. 项目地址

• GitHub仓库：https://github.com/meituan-longcat/MineExplorer
• arXiv技术论文：https://arxiv.org/pdf/2605.30931
• 美团LongCat团队GitHub组织：https://github.com/meituan-longcat