MMBench

MMBench

4.0· 编辑评分
中国

编辑点评

MMBench的图文理解全覆盖和中英双语+CCBench使其成为多模态模型评测的重要工具。与OpenCompass深度集成,VLMEvalKit支持80+多模态基准。数据格式支持VLMEvalKit和Legacy两种。特别适合视觉语言模型开发者、多模态研究者。

AI工具导航编辑团队

MMBench是什么

MMBench是OpenCompass社区开发的多模态基准集合,用于评估大视觉语言模型(LVLM)的图文理解能力。包含MMBench-Dev/Test英文版(1164/1784题)、中文版及CCBench中国文化专题(510题)。与VLMEvalKit集成,支持80+多模态基准评测。

基本信息

分类:
国家:中国

适合人群

开发者研究人员

使用门槛: 需要一定基础

MMBench的主要功能

  • 图文理解评测

    评估大视觉语言模型对图文联合理解与推理能力

  • 中英双语+CCBench

    英文/中文MMBench及CCBench中国文化建设510题专题

  • VLMEvalKit集成

    与VLMEvalKit集成,可同时评测80+多模态基准

MMBench的核心优势

  • 图文理解全覆盖,Dev/Test规模适中便于快速评测
  • 中英双语+CCBench中国文化专题,评测维度丰富
  • VLMEvalKit支持80+基准,一次配置多任务评测

MMBench的应用场景

  • 视觉语言模型评测

    开发者对LVLM进行图文理解能力系统评测

  • 多模态排行榜

    通过OpenCompass MMBench排行榜对比多模态模型

MMBench 定价与积分

价格可能变动,具体价格参考官网

常见问题

▶MMBench评测需要什么环境?

使用VLMEvalKit或OpenCompass官方工具,需GPU支持视觉模型推理。

▶CCBench测什么?

CCBench专注中国文化相关510题,评测模型对中国文化理解能力。

用户评价

来自真实用户的评价和反馈