
MMBench的图文理解全覆盖和中英双语+CCBench使其成为多模态模型评测的重要工具。与OpenCompass深度集成,VLMEvalKit支持80+多模态基准。数据格式支持VLMEvalKit和Legacy两种。特别适合视觉语言模型开发者、多模态研究者。
MMBench是OpenCompass社区开发的多模态基准集合,用于评估大视觉语言模型(LVLM)的图文理解能力。包含MMBench-Dev/Test英文版(1164/1784题)、中文版及CCBench中国文化专题(510题)。与VLMEvalKit集成,支持80+多模态基准评测。
使用门槛: 需要一定基础
图文理解评测
评估大视觉语言模型对图文联合理解与推理能力
中英双语+CCBench
英文/中文MMBench及CCBench中国文化建设510题专题
VLMEvalKit集成
与VLMEvalKit集成,可同时评测80+多模态基准
视觉语言模型评测
开发者对LVLM进行图文理解能力系统评测
多模态排行榜
通过OpenCompass MMBench排行榜对比多模态模型
价格可能变动,具体价格参考官网
使用VLMEvalKit或OpenCompass官方工具,需GPU支持视觉模型推理。
CCBench专注中国文化相关510题,评测模型对中国文化理解能力。
来自真实用户的评价和反馈