General365 – 美团 LongCat 团队开源的通用推理评测基准

1. General365是什么

General365是由美团LongCat团队开源的一个通用推理评测基准，旨在纯粹评估大语言模型（LLM）在日常场景下的逻辑推理能力。该基准包含365道高难度、人工原创的种子题目及其1095个扩展变体，全面覆盖八大推理挑战维度。其核心创新在于将评测所需的背景知识严格限定在K-12（幼儿园至高中）水平，从而有效解耦模型的推理能力与专业知识储备，避免了模型因“知识多”而掩盖“推理弱”的问题。实测结果显示，在26款主流模型中，表现最佳的Gemini 2.5 Pro也仅达到62.8%的准确率，绝大多数模型的得分未能突破60%的及格线，揭示了当前顶尖模型在通用推理能力上仍存在显著短板。

技术定位与领域： 属于自然语言处理（NLP）领域中的大模型评测与基准测试方向。其独特定位在于，它并非像GSM8K或MMLU那样评测模型的知识广度或学科能力，而是专注于衡量模型在复杂、多变的日常逻辑问题上的泛化推理能力，填补了现有评测基准在“通用推理”维度上的空白。

研发背景： 由美团LongCat团队研发。该团队在AI应用落地过程中，观察到许多模型在标准基准上表现优异，但在解决实际业务中的非结构化逻辑问题时却力不从心，即“高分低能”现象。因此，他们开发General365，旨在构建一个能真实反映模型逻辑推理水平的“试金石”，推动行业从追求“知识记忆”转向“能力推理”。

核心价值： 该基准解决了现有评测基准（如BBH、MMLU）性能趋于饱和、无法有效区分顶尖模型推理能力的问题。它通过高难度、高多样性的题目设计，为模型开发者提供了清晰的推理能力“体检报告”，帮助企业用户做出更明智的模型选型决策，并为学术研究提供了标准化的通用推理评估框架。

技术特点： 技术上，General365通过t-SNE语义分布验证和推理路径相似度分析，确保了题目的逻辑独立性，防止模型通过“背模板”得分。其独创的混合评分系统（规则评分+GPT-4.1模型评分）结合人工校验，达到了99.6%的评分准确率，兼顾了评分的客观性与灵活性。

2. 主要功能

• 八大维度推理能力评测： 将通用逻辑推理拆解为复杂约束、分支枚举、时空推理、递归回溯、语义干扰、隐式信息、最优策略、概率不确定性等八个核心维度。每道题目至少对应一个维度，近70%的题目同时涵盖两个以上维度，确保评测的全面性和深度，能够精准定位模型在特定推理环节的薄弱点。

• 知识解耦与纯净推理评估： 所有评测题目所需背景知识严格限定在K-12教育水平内，消除了模型因在特定领域（如医学、法律）拥有海量知识而产生的评测偏差。这使得评测结果能纯粹反映模型的逻辑推理能力，而非其知识检索或记忆能力，从而更真实地衡量其智能水平。

• 混合评分系统： 采用规则评分与模型评分相结合的混合框架。对于有明确答案的数值题，使用math-verify工具进行精确解析和验证；对于选择题和开放性文本题，则调用GPT-4.1进行语义理解和评分。该系统经过人工验证，评分准确率高达99.6%，确保了评分的公正性和可靠性。

• 半公开测试集与数据防污染： 基准采用半公开策略，仅公开180道种子题及其变体（共720题），作为社区研究参考。剩余的185道种子题及其变体作为隐藏测试集不予公开，有效防止模型通过“数据记忆”或“训练集污染”来刷分，保证了评测结果的真实性和长期有效性。

• 多模型标准化横向评测： 提供一套标准化的评测代码和流程，支持对OpenAI、Gemini、Claude、DeepSeek、Qwen、GLM、Kimi、LongCat等超过26款主流模型的推理能力进行统一、可复现的横向对比评估。评测结果以标准化报告形式呈现，便于开发者进行模型间的性能比较。

• 推理效率与Token分析： 支持分析模型在解题过程中的准确率与输出Token数量之间的关系。通过分析模型在推理时是否产生冗长、低效的思考过程，能够评估模型的“推理效率”，帮助开发者优化模型的推理路径，实现更优的性能与成本平衡。

3. 如何使用

1. 环境要求与前置条件：

   • 硬件要求： 建议使用配备NVIDIA GPU（如V100、A100、H100等）的服务器，显存至少16GB。CPU模式下也可运行，但推理速度会显著降低。
   • 软件环境： 需要安装Python 3.8及以上版本，并配置好CUDA、cuDNN等深度学习依赖库。推荐使用conda创建独立的虚拟环境。
   • 模型准备： 用户需要自行准备待评测的模型。对于OpenAI、Gemini等商业模型，需配置有效的API Key；对于开源模型，需预先下载模型权重至本地。

2. 克隆项目与安装依赖：

   git clone https://github.com/meituan-longcat/General365.git
   cd General365
   pip install -r requirements.txt
   

   该命令会安装项目运行所需的所有Python包，包括transformers、torch、openai等。

3. 配置评测参数：
   在项目根目录下找到或创建配置文件（如config.yaml）。关键配置项包括：

   • model_name: 指定待评测的模型名称（如gpt-4o、gemini-2.5-pro）。
   • api_key: 填入对应模型的API密钥。
   • model_type: 选择模型类型（api或local）。
   • data_path: 指定评测数据集路径（默认使用公开的180道种子题）。
   • output_dir: 指定评测结果输出目录。

4. 运行评测脚本：
   使用以下命令启动评测：

   python run_evaluation.py --config config.yaml
   

   脚本会自动加载数据集，逐题向模型发送提示，并收集模型返回的答案。评测过程中，控制台会实时显示评测进度。

5. 查看与分析结果：
   评测完成后，结果会以JSON或CSV格式保存在指定的输出目录中。报告包含每道题的模型答案、推理过程、分维度得分以及总分。开发者还可以使用项目提供的分析脚本，生成模型在各维度上的能力雷达图，直观地识别推理短板。

4. 优缺点分析

5. 同类工具对比

选型建议：

• 对于模型研发团队： 如果您希望精准定位模型在逻辑推理上的具体短板（如时空推理、语义干扰），以便进行针对性优化，General365 是首选。其八大维度分析能提供比BBH、MMLU-Pro更细粒度的诊断报告。建议将其作为模型迭代过程中的关键评测基准。
• 对于企业用户与模型选型者： 如果您需要评估模型在解决日常复杂逻辑问题（如合同条款分析、路径规划）上的能力，General365 的评测结果比MMLU-Pro等知识密集型基准更具参考价值。其高区分度和防污染特性，能帮助您更可靠地筛选出真正“聪明”的模型。BBH和BBEH目前更适合作为辅助参考，而非决策依据。

6. 编辑点评

General365的出现，是对当前大模型评测体系的一次重要纠偏。长期以来，以MMLU、BBH为代表的基准测试推动了模型的进步，但也催生了“刷榜”文化，使得模型性能的增长与真实世界应用能力的提升之间出现了脱节。General365通过“知识解耦”和“高难度通用推理”两个核心设计，精准地击中了当前评测体系的痛点。

从技术创新性来看，General365的八大推理维度拆解和混合评分系统是其两大亮点。前者为模型推理能力的诊断提供了结构化框架，后者则在保证评分客观性的同时，兼顾了开放题的灵活性。虽然“隐藏测试集”并非首创，但在推理评测领域，其防污染设计尤为关键，确保了基准的生命力。

在实用价值上，General365为行业提供了一个高质量的“照妖镜”。它清晰地揭示了即使是当前最强大模型，在应对日常逻辑问题时也远未达到人类水平。这对于AI从业者来说，既是警醒，也是方向。它告诉我们，大模型的下一个增长点不在于“记住更多知识”，而在于“学会更聪明地思考”。

适用人群主要包括：AI研究员、大模型算法工程师、寻找可落地模型的企业技术决策者，以及关注AI前沿发展的技术爱好者。

未来发展潜力巨大。随着模型能力的提升，General365的题目难度可能需要进一步迭代。同时，将其评测框架扩展到多模态领域，或将是一个自然且极具价值的方向。总体而言，这是一个设计精良、定位精准、价值显著的评测基准。

7. 应用场景

• 大模型能力诊断与优化： 模型研发团队可以使用General365对模型进行“全身体检”，通过分析模型在复杂约束、语义干扰等八个维度上的得分，精准定位其推理能力的短板。例如，若发现模型在“递归回溯”维度得分偏低，研发团队可针对性地设计训练数据或优化推理链，从而提升模型在规划类任务上的表现。

• 企业级模型选型评估： 企业在选择客服、数据分析或智能决策等场景的模型时，可将General365作为核心评估基准。通过对比不同模型在“最优策略”和“隐式信息”等维度的表现，企业能够筛选出逻辑更严密、决策更合理的模型，避免被模型在通用知识问答上的“高分”所迷惑，从而降低业务风险。

• 学术研究与通用AI探索： 学术研究者可以利用General365作为标准化工具，探索不同模型架构（如MoE、Transformer变体）、训练策略（如强化学习、过程监督）对模型推理能力的真实影响。该基准为研究“LLM如何从知识记忆转向逻辑推理”这一核心命题提供了可靠的实验平台。

• 推理效率与成本优化分析： 企业或研究者在部署模型时，可以利用General365分析模型的“推理效率”——即达到相同准确率所需消耗的Token数。通过对比不同模型或同一模型不同配置下的效率，可以找到性能与成本的最佳平衡点，例如选择推理路径更简洁的模型版本，以降低API调用成本。

8. 常见问题FAQ

Q：General365和MMLU、BBH等主流基准有何本质区别？
A：核心区别在于评测重点。MMLU侧重模型的知识广度和记忆能力，BBH侧重综合任务处理，而General365则通过将知识限定在K-12水平，专门评测模型在通用日常场景下的逻辑推理能力，实现了推理与知识的解耦，更能反映模型“聪明与否”而非“知道多少”。

Q：我的模型在General365上得分很低，是否意味着它很“笨”？
A：不一定，但确实暴露了它在通用推理上的短板。一个在专业代码生成或文学创作上表现优异的模型，可能在处理General365中的“语义干扰”或“时空推理”题目时表现不佳。这说明该模型尚未完全掌握灵活、通用的逻辑推理能力，在应对非结构化、多变的日常问题时可能存在局限。

Q：如何确保评测结果的公平性，特别是防止模型通过“刷题”作弊？
A：General365采用了半公开测试集策略。社区可以访问的只有180道种子题（共720个变体），而剩余的185道种子题及其变体作为隐藏测试集永久不公开。这使得模型无法通过记忆训练集来获取高分，从而保证了评测结果的真实性。此外，题目设计的逻辑独立性也杜绝了“背模板”的可能性。

Q：评测一个模型需要多少成本？
A：成本取决于模型类型。使用GPT-4等顶级API进行评测，由于题目难度大、推理链条长，可能需要消耗数百万Token，成本较高。如果评测本地开源模型，则主要是计算资源的成本。项目支持仅评测公开子集（720题），可以作为快速、低成本评估的参考。

Q：如何解读General365的评测报告？
A：评测报告会给出总分及在八个推理维度上的分项得分。总分反映了模型的整体通用推理水平。更重要的是分析分项得分： 例如，如果模型在“最优策略”维度得分低，说明其在需要权衡利弊、制定计划的场景下能力不足；如果在“语义干扰”维度得分低，则说明模型容易受到无关信息的误导。这为模型优化提供了明确方向。

9. 项目地址

• 项目官网： https://general365.github.io/
• GitHub仓库： https://github.com/meituan-longcat/General365
• HuggingFace数据集： https://huggingface.co/datasets/meituan-longcat/General365_Public
• arXiv技术论文： https://arxiv.org/pdf/2604.11778