AGI-Eval

AGI-Eval

4.0· 编辑评分
中国

编辑点评

AGI-Eval的真人考试题目更能反映模型在人类水平任务上的真实能力。GPT在SAT数学达、中国高考英语,超过人类平均。评估四维度:理解、知识、推理、计算。特别适合需要人类水平能力评估的研究者和选型者。

AI工具导航编辑团队

AGI-Eval是什么

AGI-Eval是微软提出的以人类考试为中心的大模型评估基准,使用真实标准化考试题目而非人造数据集。涵盖高考、法学院入学考试(LSAT)、数学竞赛、律师资格考试、公务员考试、GMAT和GRE等人类-centric任务。

基本信息

分类:
国家:中国

适合人群

研究人员

使用门槛: 需要一定基础

AGI-Eval的主要功能

  • 真人标准化考试

    使用高考、LSAT、GMAT等真实人类考试题目,非人造数据

  • 四维度评估

    理解、知识、推理、计算四维度系统化评估

  • 多领域覆盖

    涵盖法律、数学、语言、公务员等多领域考试

AGI-Eval的核心优势

  • 真人考试题目,更能反映人类水平任务真实能力
  • GPT等多模型在SAT、高考等超过人类平均
  • 四维度系统化,便于分析模型强项和短板

AGI-Eval的应用场景

  • 人类水平能力评估

    研究者评估模型在真人考试场景下的表现

  • 教育与应用场景

    教育科技和考试辅助场景的模型选型参考

AGI-Eval 定价与积分

价格可能变动,具体价格参考官网

常见问题

▶AGI-Eval包含哪些考试?

涵盖高考、LSAT、数学竞赛、律师资格、公务员考试、GMAT、GRE等。

▶AGI-Eval与MMLU有何不同?

AGI-Eval用真人考试题;MMLU用学术设计选择题。前者更贴近人类实际水平评估。

用户评价

来自真实用户的评价和反馈