
OpenCompass的8大能力29任务构建了全面评测体系。CompassRank提供LLM和多模态排行榜(MMBench)。支持主客观评测,CompassBench扩展评测方法。InternLM等上海AI Lab模型表现突出。特别适合大模型开发者、多模态研究者、需要全面评测的团队。
OpenCompass(司南)是上海AI Lab开发的开源大模型评测平台,提供CompassKit评测工具包、CompassHub社区平台和CompassRank排行榜。通过29项核心任务、100+数据集评估语言理解、知识、逻辑、创意、数学、编程、长文、智能体等8大能力。
使用门槛: 需要一定基础
八大能力评测
语言、知识、逻辑、创意、数学、编程、长文、智能体八维评估
100+数据集
29核心任务 +评测数据集,支持主客观混合评测
MMBench多模态榜
官方多模态排行榜,支持视觉语言模型评测
大模型全面评测
开发者对模型进行8维能力系统性评测
多模态模型 ranking
通过MMBench等对视觉语言模型进行排名对比
价格可能变动,具体价格参考官网
MMBench是OpenCompass的多模态评测子集,专注视觉语言模型能力评估。
使用CompassKit工具包,配置模型和数据集即可本地或云端运行评测。
来自真实用户的评价和反馈