Kev – 开源的 Jev 风格决策模型家族，可自训练、自部署

1. Kev是什么

Kev是由Cognition工程副总裁Jared Palmer开源发布的决策模型家族，基于Qwen3.5/Qwen3.8底座构建，提供0.8B至27B多档参数规模。与传统大语言模型不同，Kev不生成自然语言文本，而是接收状态文本与结构化问题，通过单次前向传播直接输出校准后的概率分布，支持是/否判定、选项路由和等级打分三类决策原语，API兼容TypeSafe System One。该项目的核心价值在于将大模型的"写作题"改造为"选择题"，以极低推理成本和毫秒级延迟满足高并发决策场景需求，同时通过Apache-2.0协议实现权重、训练代码与评测集的全面开源。

技术定位与领域： Kev属于决策专用模型（Decision-Specific Model）领域，与通用对话模型形成差异化定位。其核心创新在于将判别式指针头（Pointer Head）与冻结的Qwen基座结合，实现从生成式到判别式的架构转换，为结构化决策任务提供了一种高性价比的技术路径。

研发背景： 项目由Cognition工程VP Jared Palmer主导开发，其团队在AI工程与系统设计方面积累了丰富经验。Kev的架构设计参考了Jev（TypeSafe推出的闭源决策模型）的实现思路并加以复现与开源，旨在打破商业API在决策场景中的垄断。官方公开了完整的训练账单，三档模型移植训练总成本约95美元，个人微调单次约1美元，体现了极高的成本透明度。

核心价值： Kev解决了传统LLM在决策场景中的三大痛点：逐token生成带来的高延迟与高成本、概率输出不可靠导致的自动化困难、以及闭源API带来的数据隐私与供应商锁定问题。通过单次前向输出校准概率，Kev将单次决策延迟压缩至毫秒级，并支持完全本地化部署，使高吞吐决策自动化成为可能。

技术特点： Kev采用冻结Qwen基座+rank-16 LoRA适配器+指针头的轻量架构，训练成本极低且可复现；块因果注意力机制实现多问题并行隔离，一次前向可回答任意数量问题；内置温度校准与冻结评测集，确保输出概率的可靠性与可审计性。

2. 主要功能

• 结构化决策输出： Kev的核心能力在于直接输出校准概率而非生成文本。系统接收一段状态描述加若干结构化问题，单次前向传播即可返回每个候选选项的概率分布，彻底跳过逐token生成过程。这一设计将决策延迟从秒级压缩至毫秒级，H100上回答6个问题仅需18ms，同时消除了生成式模型常见的"胡言乱语"问题，使输出结果可直接用于自动化决策流水线。

• 三类决策原语： Kev原生支持noul（是/否判定）、choice（多选项路由）和score（等级打分）三种决策类型。noul适用于二分类场景如内容合规检查，choice用于多类目路由如工单分类，score用于连续维度评估如风险等级打分。三种原语可自由组合，覆盖绝大多数结构化决策需求。

• 批量提问隔离机制： 多个问题可共享同一份输入状态，通过块因果注意力掩码实现互相隔离。每个token只能读取状态信息和本问题块内部内容，位置ID在每个问题处重新计数，确保一次前向传播同时回答所有问题且互不污染。在Qwen3.5/3.8这类混合Gated DeltaNet架构上，系统改为每问题独立成行并复用状态KV缓存，隔离更严格，显著提升多任务并行效率。

• 本地化部署能力： 提供kev.serve一行命令启动服务，暴露POST /v1/systemone端点，兼容CUDA、ROCm和Apple Silicon（MLX）三种硬件平台。用户可在自有服务器上运行模型，数据完全不出境，满足金融、政务等高合规要求场景的隐私需求。同时支持Modal等云平台一键部署HTTPS端点，闲置时自动缩容到零不计费。

• 低成本微调与Agent自动化： 支持基于官方checkpoint使用自有标注数据继续训练，配套kev-finetune skill使coding agent自动完成数据整理、训练、评估、部署全流程。用户无需本地GPU即可通过npx skills add jaredpalmer/kev@kev-finetune触发自动化微调，官方数据显示单次微调成本约1美元，极大降低了定制化决策模型的准入门槛。

• 内置评估与校准体系： 每个checkpoint在留出数据上拟合温度参数，推理时直接输出校准后的概率，且温度调整不改变排序、只校准置信度数值。项目内置冻结评测集，报告准确率、Brier分数、校准误差和可自动化决策比例四项指标，CI流程自动校验发布数字，确保模型迭代过程中的性能可追溯、可比较。

3. 如何使用

1. 环境准备： 需要Python 3.12或3.13环境，并安装uv包管理器。克隆GitHub仓库后执行uv sync --extra serve安装全部依赖。硬件方面，0.8B模型可在Apple Silicon上流畅运行，4B及以上模型建议配备NVIDIA GPU（CUDA）或AMD GPU（ROCm），显存需求根据模型档位从2GB到24GB不等。

2. 本地启动服务： 运行KEV_DTYPE=bf16 uv run --extra serve python -m kev.serve --run jaredpalmer/kev-4b --port 8009启动推理服务。首次运行会自动从Hugging Face下载模型权重，--run参数指定模型标识，--port指定服务端口。启动成功后服务监听/v1/systemone端点，等待接收决策请求。

3. 发送决策请求： 向POST /v1/systemone提交JSON格式请求体，包含state字段（状态文本）和questions字段（结构化问题数组）。服务返回每个选项的校准概率分布。例如，输入一段客户投诉文本，附带"是否升级人工？""投诉类型？""严重程度？"三个问题，一次请求即可获得全部答案的概率分布。

4. Python SDK调用： 使用TypeSafe官方SDK，将base_url指向本地服务地址（如http://localhost:8009），即可复用现有Jev应用代码，实现零改动切换。SDK自动处理请求序列化与响应解析，开发者无需关心底层HTTP协议细节。

5. 浏览器试玩体验： 访问Hugging Face Space在线体验，或本地运行playground脚本，通过图形界面输入状态文本和问题，直观查看概率输出结果。适合快速验证模型效果或进行技术评估。

6. 微调自有数据： 将标注数据整理为JSONL格式（每行包含状态文本、问题、正确选项标签），执行uv run python -m kev.train --init_from jaredpalmer/kev-4b ...基于官方checkpoint继续训练。训练过程冻结基座权重，仅更新LoRA适配器和指针头，显存占用小，单次微调成本约1美元。

7. Agent全自动微调： 执行npx skills add jaredpalmer/kev@kev-finetune安装微调skill，随后让coding agent自动完成问题设计、数据生成、模型训练、评估验证和部署上线全流程。该模式无需本地GPU，适合缺乏深度学习经验但需要定制决策模型的团队。

8. 云端部署与评估： 执行pip install modal && modal deploy kev_serve.py可将服务部署为HTTPS端点，支持自动缩容到零。上线前建议运行uv run python -m kev.benchmark --run <模型> --suite evals/v4/transfer-v4在冻结评测集上验证准确率、Brier分数和校准误差，确保模型质量达标后再投入生产。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于追求数据隐私、成本控制和高吞吐决策的企业，Kev是当前开源方案中的优选。其API兼容TypeSafe System One的特性，使Jev存量用户可平滑迁移。若团队缺乏深度学习基础设施，Jev等托管API可快速接入，但需接受数据外流与持续调用成本。对于需要解释性文本或复杂推理的决策场景，通用LLM配合结构化输出约束仍是必要选择。传统分类模型则在特征明确、数据量充足的场景下保持性价比优势，但无法处理非结构化文本输入。

6. 编辑总结

Kev的发布为决策型AI应用提供了一个值得关注的开源技术路径。从技术创新性来看，指针头与冻结基座的组合设计跳出了"微调生成模型"的惯性思维，通过架构改造将生成问题转化为判别问题，在保持语义理解能力的同时实现了两个数量级的推理速度提升。块因果注意力机制的多问题隔离设计也体现了工程层面的巧思，使批量决策的算力效率得到充分利用。训练成本的透明化更是开源社区的一次积极示范——95美元的移植训练成本和1美元的单次微调费用，将决策模型的定制门槛降至个人开发者可负担的水平。

从实用价值角度，Kev直接回应了生产环境中三个刚性需求：毫秒级延迟支撑高并发场景、校准概率保障自动化决策的可靠性、本地部署满足数据合规要求。其API兼容TypeSafe System One的设计降低了迁移成本，使现有Jev用户能够快速切换至自托管方案。内置的冻结评测集与CI校验机制也体现了工程化思维，为模型迭代提供了可量化的质量门槛。

适用人群方面，Kev特别适合三类团队：一是有数据隐私合规压力的金融、政务机构；二是需要高吞吐决策能力的客服、审核类平台；三是希望在决策模型方向进行低成本实验的研究者与独立开发者。对于追求开箱即用的团队，托管API仍是更便捷的选择，但Kev提供了自主可控的替代路径。

展望未来，Kev的发展潜力取决于三个方向：基座模型的持续升级能否带来准确率突破、社区能否积累丰富的行业微调数据集、以及多模态决策支持是否会纳入路线图。当前0.8B至27B的档位设计已覆盖从边缘设备到云端集群的部署需求，若能在中文场景优化和长文本状态理解上持续迭代，Kev有望成为决策模型领域的重要基础设施。

7. 应用场景

• 客服工单智能路由： 一次前向传播同时判断"转哪个部门""是否升级人工""客户愤怒等级"三个问题，按概率阈值自动分流。低置信度工单自动转人工处理，高置信度工单全自动分配，显著降低客服团队负载。某电商平台接入后，工单平均处理时长从分钟级压缩至秒级。

• UGC内容安全审核： 对用户生成内容并行执行"是否违规"（noul）、"违规类型"（choice）和"严重程度"（score）三类判定。高置信度违规内容自动下架，中低置信度进入人工复审队列，概率分布辅助审核人员快速定位问题。相比关键词过滤方案，能有效识别语义变体与隐晦表达。

• 金融信贷初审： 在信贷申请处理中判断投诉类型、是否需要人工介入和风险等级。概率分布不仅用于自动决策，还作为合规留痕依据，辅助确定人工复核优先级。银行可完全本地化部署，确保客户数据不出域，满足金融监管对数据安全的要求。

• 电商意图分类与多标签路由： 将用户查询路由到搜索、推荐或售后等下游系统，有效处理"一个词踩多个类目"的多标签分布问题。例如查询"退货"可能同时涉及售后政策、物流追踪和退款进度，Kev输出各意图的概率分布供下游系统灵活决策，支持更细腻的交互策略。

8. 常见问题FAQ

Q：Kev与通用大语言模型的核心区别是什么？
A：通用LLM通过自回归逐token生成文本，输出自然语言回答；Kev则完全跳过生成过程，通过指针头对候选选项打分并输出校准概率。这种判别式设计使Kev在决策任务上速度更快（毫秒级）、成本更低、概率更可靠，但代价是失去了文本生成和自由对话能力。

Q：Kev的准确率与Jev相比如何？
A：根据官方公布的评测数据，Kev 27B档在新来源评测集上准确率为0.848，9B档为0.852，4B档为0.838；Jev在开发集上为0.857。两者处于相近水平，但Kev的评测集为冻结公开数据集，结果可复现验证，而Jev的评测方法未完全公开。

Q：微调Kev需要多少数据？成本如何？
A：官方建议从数百条标注样本起步，数据格式为JSONL（状态文本+问题+正确标签）。训练过程冻结基座，仅更新LoRA适配器和指针头，单次微调成本约1美元（按云GPU计费）。实际所需数据量取决于任务复杂度，复杂决策场景建议积累数千条高质量标注。

Q：Kev支持哪些硬件平台？
A：Kev支持CUDA（NVIDIA GPU）、ROCm（AMD GPU）和Apple Silicon（通过MLX框架加速）。0.8B模型可在Apple Silicon上流畅运行，4B及以上模型建议配备8GB以上显存的GPU。CPU推理虽可行但速度较慢，不适合生产环境。

Q：如何将现有Jev应用迁移到Kev？
A：Kev的API完全兼容TypeSafe System One，使用官方SDK的应用只需将base_url指向本地Kev服务地址即可，代码无需改动。Kev返回的响应格式与Jev一致，包含各选项的校准概率，因此现有后处理逻辑和决策流程可直接复用。

Q：Kev输出的概率是否可以直接用于自动化决策？
A：可以。Kev内置温度校准机制，输出概率经过校准，置信度数值具有实际参考意义。官方提供"可自动化决策比例"指标，即在给定错误预算下可安全自动化的样本比例。建议根据业务容错要求设定概率阈值，低于阈值时转人工处理。

9. 项目地址

• GitHub仓库： https://github.com/jaredpalmer/kev
• Hugging Face模型权重： https://huggingface.co/jaredpalmer （模型以jaredpalmer/kev-**命名，如jaredpalmer/kev-4b）