
AGI-Eval的真人考试题目更能反映模型在人类水平任务上的真实能力。GPT在SAT数学达、中国高考英语,超过人类平均。评估四维度:理解、知识、推理、计算。特别适合需要人类水平能力评估的研究者和选型者。
AGI-Eval是微软提出的以人类考试为中心的大模型评估基准,使用真实标准化考试题目而非人造数据集。涵盖高考、法学院入学考试(LSAT)、数学竞赛、律师资格考试、公务员考试、GMAT和GRE等人类-centric任务。
使用门槛: 需要一定基础
真人标准化考试
使用高考、LSAT、GMAT等真实人类考试题目,非人造数据
四维度评估
理解、知识、推理、计算四维度系统化评估
多领域覆盖
涵盖法律、数学、语言、公务员等多领域考试
人类水平能力评估
研究者评估模型在真人考试场景下的表现
教育与应用场景
教育科技和考试辅助场景的模型选型参考
价格可能变动,具体价格参考官网
涵盖高考、LSAT、数学竞赛、律师资格、公务员考试、GMAT、GRE等。
AGI-Eval用真人考试题;MMLU用学术设计选择题。前者更贴近人类实际水平评估。
来自真实用户的评价和反馈