OpenCompass

OpenCompass

4.0· 编辑评分
中国

编辑点评

OpenCompass的8大能力29任务构建了全面评测体系。CompassRank提供LLM和多模态排行榜(MMBench)。支持主客观评测,CompassBench扩展评测方法。InternLM等上海AI Lab模型表现突出。特别适合大模型开发者、多模态研究者、需要全面评测的团队。

AI工具导航编辑团队

OpenCompass是什么

OpenCompass(司南)是上海AI Lab开发的开源大模型评测平台,提供CompassKit评测工具包、CompassHub社区平台和CompassRank排行榜。通过29项核心任务、100+数据集评估语言理解、知识、逻辑、创意、数学、编程、长文、智能体等8大能力。

基本信息

分类:
国家:中国

适合人群

开发者研究人员

使用门槛: 需要一定基础

OpenCompass的主要功能

  • 八大能力评测

    语言、知识、逻辑、创意、数学、编程、长文、智能体八维评估

  • 100+数据集

    29核心任务 +评测数据集,支持主客观混合评测

  • MMBench多模态榜

    官方多模态排行榜,支持视觉语言模型评测

OpenCompass的核心优势

  • 8大能力29任务覆盖全面,评测维度系统化
  • CompassRank+MMBench提供LLM和多模态双榜
  • 开源工具包支持本地和云端复现评测

OpenCompass的应用场景

  • 大模型全面评测

    开发者对模型进行8维能力系统性评测

  • 多模态模型 ranking

    通过MMBench等对视觉语言模型进行排名对比

OpenCompass 定价与积分

价格可能变动,具体价格参考官网

常见问题

▶OpenCompass和MMBench是什么关系?

MMBench是OpenCompass的多模态评测子集,专注视觉语言模型能力评估。

▶如何用OpenCompass评测自己的模型?

使用CompassKit工具包,配置模型和数据集即可本地或云端运行评测。

用户评价

来自真实用户的评价和反馈