
FlagEval的全栈多模态评测和40+能力维度构建了系统化评测体系。FlagEval-Arena支持中文模型和文本驱动AIGC的并排对比。2024年推出Colosseum和Debate Arena人机对战。特别适合大模型研究者、多模态开发者、需要全面评测的团队。
FlagEval是北京智源研究院(BAAI)于2023年推出的大模型评测体系与开放平台,提供科学、公平、客观的评测基准与工具。评估全球800+开源和闭源模型,涵盖40+能力维度,集成20+基准、 数据集、8万+评估题目,覆盖NLP、计算机视觉、音频、多模态。
使用门槛: 需要一定基础
40+能力维度评测
覆盖推理、数学、任务解决等40余项能力维度,五类任务四类指标
多模态集成
FlagEvalMM支持文本、图像、视频多模态模型评估
中文并排对比
FlagEval-Arena专注中文模型与文本驱动AIGC的对比评测
多模态模型评测
研究者对视觉语言等多模态模型进行全面评估
中文模型能力对比
通过Arena并排对比不同中文模型的生成质量
价格可能变动,具体价格参考官网
FlagEvalMM框架支持文本、图像、视频等多模态任务的综合评估。
定期发布FlagEval Report,Issue 2于2024年12月发布,官网可查看。
来自真实用户的评价和反馈