LifeVal – OpenAI 推出的日常生活任务评测基准深度评测

1. LifeVal是什么

LifeVal 是 OpenAI 推出的评测基准，旨在衡量 AI 系统帮助人们完成真实日常生活任务的能力。与传统的知识问答式学术基准不同，LifeVal 将评估重心从"模型有多聪明"转向"模型能否真正帮用户办成事"，其任务池基于美国时间使用调查（ATUS）、跨国时间使用研究（MTUS）以及一项覆盖 3,995 人的代表性调查构建，任务涵盖托育、健康、教育、家庭行政、个人财务、购物和获取政府服务等高频生活场景。官方数据显示，过去一年 OpenAI 已将 LifeVal 作为内部训练回归测试工具，按未加权平均奖励计算，模型在该基准上的平均成绩已从 GPT-5.2 的 49.3% 提升至 GPT-6 Astra 的 80.6%，展现出清晰的能力进化曲线。

技术定位与领域： LifeVal 属于自然语言处理与智能体（Agent）评估的交叉领域，是一种面向真实世界任务完成的动态评测基准。它在技术谱系中的独特定位在于，不是考察模型的知识储备或推理能力，而是评估模型在开放式、多步骤、需要工具调用的真实生活场景中的端到端任务完成能力。这与传统的静态问答基准（如 MMLU、GPQA）和学术型 Agent 基准存在本质差异。

研发背景： LifeVal 由 OpenAI 开发，其研发动机源于 ChatGPT 从聊天工具向个人数字管家转型的产品战略需求。随着 GPT 系列模型的能力增强，OpenAI 需要一种能够反映模型在普通人日常生活中实际价值的评估体系，而非仅依赖学术界的知识测试或代码竞赛标准。LifeVal 的构建参考了社会学和经济学领域成熟的时间使用调查方法论，并辅以大规模的定向用户调研，确保评估任务与真实用户需求高度对齐。

核心价值： LifeVal 解决了传统评测基准脱离实际应用场景的问题。传统基准关注的"答对题"与用户在真实生活中需要的"办成事"之间存在巨大鸿沟——模型可能拥有丰富的知识，但在搜索信息、比较选项、通过浏览器操作完成预约或申请流程等实际事务中表现不佳。LifeVal 首次将评估范式从知识本位转向任务完成本位，使模型评测结果能够直接反映产品的实际用户体验。

技术特点： LifeVal 的评测任务设计模拟真实用户求助场景，要求模型理解带约束的需求、搜集和比对信息、做出取舍决策，并交付可用成果——而非仅输出建议。其评分机制采用平均奖励（unweighted reward）作为核心指标，配套的评分器对模型交付的成果按完成度打分，整个流程支持大规模自动化评测和跨版本纵向对比。

2. 主要功能

• 端到端任务完成评测： LifeVal 的核心功能是评估模型是否能把事情"办成"。每个任务模拟真实用户求助场景，要求模型完成完整流程——从理解带约束的需求开始，到搜集和比对信息、做出取舍决策，最终交付可用成果。这与传统学术基准的答题式评测形成鲜明对比，例如任务可能要求模型帮助用户找到符合特定预算和地理位置的托育机构，而非仅回答"什么是好的托育机构"。

• 真实需求驱动的任务池构建： LifeVal 的任务并非人工凭空设计，而是基于美国时间使用调查（ATUS）和跨国时间使用研究（MTUS）提炼出人们日常实际花费时间的活动类目，再通过覆盖 3,995 人的代表性调查，确定用户在每个任务上"最希望 AI 提供什么帮助"。这一数据驱动的方法论从根本上保证了评测任务与真实用户需求的高度对齐。

• 多生活领域覆盖： 评测范围涵盖托育、健康、教育、家庭行政、个人财务、购物和获取政府服务等七大类高价值生活场景。每个领域内包含多个具体任务细项，以健康领域为例，可能涉及查找合适的医生、比对保险覆盖范围、预约检查等实际操作，而非知识性问答。

• 工具调用与 Agent 能力考察： LifeVal 的高分任务要求模型实际使用浏览器、操作系统界面以及第三方连接器（connector）等工具，而非仅凭参数内知识作答。这一设计使基准能够同时考察三个层面的能力：规划推理能力（拆解任务并制定执行策略）、工具调用能力（正确选择和使用外部工具）以及多步骤执行中的自我纠错能力。

• 纵向能力追踪： LifeVal 支持跨模型版本的持续性能力对比。官方数据显示，按未加权平均奖励计算，模型的基准成绩已从 GPT-5.2 的 49.3% 提升至 GPT-6 Astra 的 80.6%，这一数据本身即证明 LifeVal 具有足够的区分度和灵敏度，能够有效捕捉模型能力的迭代进步。

• 超越知识本位的评估范式： LifeVal 标志着 AI 评测从"知识考试"向"实用性评估"的转变。它衡量的是 AI 帮助普通人处理实际生活事务的价值，而非模型在标准化学术测试中的得分。这一范式转变对行业具有示范意义，可能推动更多评测基准向真实应用场景倾斜。

3. 应用场景

• 模型版本回归测试： OpenAI 内部使用 LifeVal 跟踪新模型在日常生活任务上的表现，确保每次迭代不造成能力退化。具体做法是将 LifeVal 作为训练回归测试集，在每个新模型版本发布前运行统一评测流程，对比平均奖励分数，识别在特定生活场景上的能力回退并针对性修复。

• Agent 功能迭代指导： 根据 LifeVal 评测中暴露的薄弱环节，OpenAI 可以针对性地训练和优化模型的浏览器操作、电脑界面使用和连接器工具调用能力。例如，如果模型在"获取政府服务"类任务中得分较低，研发团队可据此判断是规划能力不足还是工具调用环节存在短板，进而调整训练策略。

• 新版本发布评估： LifeVal 可作为模型发布的"日常实用性成绩单"，向用户直观展示新版本相比旧版本在"办成事"能力上的提升幅度。GPT-5.2 的 49.3% 到 GPT-6 Astra 的 80.6% 的跨越即为这一用途的典型案例，用数据证明模型进化不只是参数增长，而是实际生活效用的提升。

• 产品功能优先级排序： OpenAI 可依据 LifeVal 的任务完成数据判断哪些生活场景（如托育、政府服务）的 Agent 能力还比较薄弱，进而决定产品功能研发的资源投入顺序。这为产品规划提供了从用户需求出发的数据支撑，而非仅凭直觉或通用技术趋势做判断。

• 行业评测范式参考： 其他 AI 厂商和评测机构可以借鉴 LifeVal 的用户调研驱动任务设计方法论，构建面向各自用户群体（如中文用户、欧洲用户）的日常生活任务评测体系。其以时间使用调查和代表性问卷为基础的任务筛选流程具备较高的方法论参考价值。

4. 如何使用

1. 评测状态确认： 截至目前，OpenAI 尚未公开 LifeVal 的数据集、评测代码或在线评测入口。普通用户和开发者暂时无法直接运行该基准，仅能通过官方发布的博客文章和公开数据了解评测方法与结果。建议持续关注 OpenAI 官网的更新动态。

2. 数据获取与验证： 对于希望了解 LifeVal 评测细节的研究者，可通过官方公告页面（https://openai.com/index/lifeval/）获取已公开的评测结果数据，包括 GPT-5.2 至 GPT-6 Astra 各版本在基准上的平均奖励得分。此页面为目前唯一可验证的官方信息源。

3. 方法论参考应用： 开发者可在自己的评测体系中参考 LifeVal 的方法论构建思路：先通过时间使用调查（如 ATUS、MTUS）提取高频生活活动类目，再进行目标用户群体的代表性问卷调研以筛选高价值任务，最后设计端到端任务完成度的评分机制。这一方法论路径本身即具有较高的复用价值。

4. 替代性评测方案： 对于需要自行评测 Agent 日常生活任务能力的团队，可借鉴 LifeVal 的任务设计理念，结合开源评测框架（如 OSWorld、WebArena）构建本地评测环境。例如在 OSWorld 的真实操作系统中模拟浏览器操作类任务，用自动判定脚本评估任务完成度。

5. 注意评测边界： 需要注意的是，LifeVal 的任务设计针对美国社会环境和生活场景，直接迁移至其他文化背景时需要重新调整任务池和评分标准。同时，由于官方未公开评分器的具体构成，外界无法完全复现其评测流程，引用其数据时应注明这一局限。

5. 优缺点分析

6. 同类工具对比

选型建议： 对于需要可复现、可验证评测环境的学术研究者或企业技术团队，OSWorld 和 WebArena 是更合适的选择。OSWorld 侧重真实操作系统环境下的计算机操作能力，适合考察 Agent 的 GUI 交互和多步骤执行能力；WebArena 则聚焦于真实网站环境中的任务完成，适合评测基于浏览器的 Agent 系统。两者均提供完整的开源资源，支持本地部署和灵活修改，便于进行定制化的能力评测。

对于关注日常实用性评测方法论的研究者，即便无法直接运行 LifeVal，其任务设计思路和评测理念仍具有重要的参考价值——尤其是以时间使用调查和代表性用户调研驱动任务筛选的方法论路径，可以被借鉴并融入到自建的评测体系之中。如果目标是对标 OpenAI 的产品化 Agent 能力度量体系，则只能依赖 LifeVal 官方发布的公开数据的间接参考。

7. 编辑总结

LifeVal 的出现在 AI 评测领域具有方法论层面的革新意义。传统评测基准如 MMLU、GPQA 等以知识问答为核心，考察的是模型的"记忆容量"和"推理深度"，而 LifeVal 将评估范式转向了"任务完成度"——模型是否能在真实的日常场景中端到端地替用户"办成事"。这一转变不是简单的评测形式调整，而是对 AI 价值衡量标准的重新定义：从"模型多聪明"转向"模型对普通人的生活有多大实际帮助"。从技术角度看，LifeVal 的任务设计迫使模型综合运用规划推理、工具调用、信息检索、多步骤执行和自我纠错等多重能力，任何一个环节的薄弱都会直接反映在最终奖励分数上，这使得评测结果具备较高的诊断价值。官方公布的从 GPT-5.2 的 49.3% 到 GPT-6 Astra 的 80.6% 的提升数据，也印证了该基准能够有效捕捉模型能力的迭代进步。不过，LifeVal 当前最大的局限性在于其封闭性——数据集、代码和评分机制均未公开，外界无法独立验证评测结果，也无法基于该基准进行横向对比研究。这在客观上削弱了其作为行业通用评测标准的说服力，更多是作为 OpenAI 内部训练回归测试和产品叙事工具的定位存在。对于行业而言，LifeVal 更值得借鉴的是其方法论——以时间使用调查和代表性用户调研驱动任务设计，这一思路对未来各类实用型 AI 评测基准的构建具有指导意义。适用人群方面，LifeVal 的公开数据适合产品经理和技术决策者用于了解 Agent 能力趋势；其方法论适合评测研究者作为参考框架；而普通开发者则需要等待 OpenAI 未来可能的内容开放。在 AI Agent 快速走向实际应用的当下，LifeVal 所代表的"以任务完成为中心"的评测哲学，预计将影响未来评测体系的演进方向。

8. 常见问题FAQ

Q：LifeVal 的训练数据是否公开？
A：截至目前，OpenAI 未公开 LifeVal 的数据集、评测代码或评分器实现。官方仅通过博客文章和项目页面披露了评测方法论和汇总结果，第三方无法下载或运行该基准。

Q：LifeVal 与传统学术基准（如 MMLU）有何本质区别？
A：传统学术基准考察模型的知识储备和推理能力，采用问答式测评；LifeVal 则评估模型在真实生活场景中的端到端任务完成能力，关注的是模型能否通过工具调用和多步骤执行为用户"办成事"，而非"答对题"。

Q：如何评价 GPT-6 Astra 在 LifeVal 上 80.6% 的成绩？
A：80.6% 是未加权平均奖励分数，表示模型在 LifeVal 任务池中的平均完成度。由于评分器具体构成未公开，外界难以解读该分数的绝对含义，但可以确认在统一评测标准下，GPT-6 Astra 相较 GPT-5.2 的 49.3% 有约 31 个百分点的提升，反映了模型日常任务能力的显著进步。

Q：LifeVal 能否用于评测第三方模型？
A：不能。LifeVal 是 OpenAI 的内部评测基准，未开放评测入口和任务集。第三方模型无法直接在 LifeVal 上进行评估，只能等待 OpenAI 官方公布对比数据。对于需要评测自家模型的团队，建议参考 OSWorld 等开源替代方案。

Q：LifeVal 的评测任务是否存在地域偏置？
A：存在。LifeVal 的任务设计基于美国时间使用调查和美国用户调研，任务场景带有明显的美国社会文化特征，涉及美国的政府服务流程、医疗体系、购物习惯等。直接将该基准迁移至其他文化背景时，任务的相关性和难度会产生偏差。

Q：个人开发者能否使用 LifeVal 的方法论自建评测体系？
A：可以。LifeVal 的方法论路径（时间使用调查 → 代表性问卷 → 任务筛选 → 端到端评分）具有较高的可借鉴性。开发者可参考该路径，结合目标用户群体的实际情况（如中国用户的生活习惯），设计定制化的日常任务评测基准。

9. 项目地址

• 产品官网： https://openai.com/index/lifeval/ （OpenAI 官方公告页面，目前唯一的信息发布渠道）