Clef – Cloudflare 开源的决策模型家族深度评测

1. Clef是什么

Clef是Cloudflare开源的一组决策模型家族，其核心定位并非生成开放式文本，而是在请求中临时定义问题、为每个候选选项输出概率化评分，让代码据此执行路由、拦截或升级人工等后续动作。与传统分类器需要针对新增类别反复重训不同，Clef允许在推理时动态定义类别，显著提升了决策系统的灵活性与迭代效率。该家族包含两个规格：27B参数的Clef主打精度，在Jev Decision Index基准上排名第一；9B参数的Clef-flash则侧重速度，中位延迟仅38.8毫秒，适合嵌入Agent的热路径。整体而言，Clef为AI系统提供了一种介于通用语言模型与专用分类器之间的高效决策基础设施。

技术定位与领域： Clef归属于决策模型（Decision Models）这一新兴AI细分领域，介于传统文本生成大模型与专用分类器之间。其核心应用方向包括Agent工具调用前置审查、客服工单分诊、Bot流量判定、威胁情报分类等需要快速、结构化、概率化输出的场景。在该领域，Clef并非品类开创者——Typesafe AI的Jev率先定义了"决策模型"这一产品形态，但Clef凭借更低的延迟、更大的上下文窗口和内置视觉能力，在这一细分方向上建立了差异化优势。

研发背景： Clef由Cloudflare内部团队研发，依托其Workers AI全球边缘GPU网络进行托管和推理。Cloudflare作为全球领先的CDN与边缘计算服务商，长期深耕网络基础设施层，其对决策模型的投入源于自身业务需求：在网关热路径上以极低延迟判断流量性质、在安全场景中快速分类威胁。与Jev等创业公司不同，Cloudflare将Clef开源并深度整合进自身生态，体现了其"以基础设施能力反哺AI应用"的技术战略。

核心价值： Clef解决了传统LLM在结构化决策任务中延迟高、成本大、概率不可信三大痛点。通用大模型以逐token生成方式输出文本，推理速度慢且难以保证输出格式稳定；传统分类器则无法在运行时动态增加类别，每次新增标签都需要重新训练和部署。Clef采用非自回归架构，对输入做一次prefill后即对所有合法选项并行打分，绕过逐token生成，将决策延迟压缩至毫秒级，同时通过Brier loss与RLCD强化学习校准输出概率，使概率值本身可作为自动化决策的可靠依据。

技术特点： Clef采用冻结底座加轻量适配的训练策略，以Qwen3.8-27B和Qwen3.5-9B为主干，仅联合优化routing head与rank-256的LoRA适配器，以极小参数量获得决策能力。两阶段注意力路由机制让每个合法选项从prompt中提取相关上下文，并通过cross-attention回连原始payload联合建模。全家族支持64K上下文、内置vision encoder可嵌入最多4张图片，且API与Jev完全兼容，迁移成本趋近于零。

2. 主要功能

• 概率化决策输出： 输入state（文本/JSON状态）与类型化问题，模型为每个选项输出概率分布，代码可直接依据概率值进行路由、拦截或升级人工。与传统分类器输出单一标签不同，Clef提供的是完整的概率向量，使上层系统能够设置置信度阈值做精细化的风险控制。

• 三种问题类型： 支持noul（二选一判断）、choice（多选一分类）、score（打分/排序）三种问题格式，单次请求最多可包含64个问题。这种设计使其能够在一个请求内并行完成多项决策任务，例如同时判定工单紧急程度、责任团队和严重度评分，减少多次调用带来的延迟开销。

• 视觉分类能力： 内置vision encoder，可将最多4张图片与文本一同作为输入进行联合打分。该能力使Clef能够处理截图、扫描件、网页渲染图等多模态决策场景。相比之下，其主要竞品Jev目前仅支持文本输入，这是Clef在功能性上的显著差异点。

• 64K上下文窗口： 支持长达64K token的上下文输入，能够容纳完整日志、历史工单、JSON状态快照等长文本。相比Jev的32K上下文，Clef翻倍的窗口使模型能看到更完整的决策依据，在复杂场景下有助于提升判断的准确性。

• Jev API兼容： 请求schema与Jev完全对齐，用户从Jev迁移至Clef时基本只需修改端点和模型名，现有代码逻辑无需变动。这种兼容策略大幅降低了用户的切换成本，对于已在生产环境使用Jev的团队尤为友好。

• 非自回归推理机制： 这是Clef最具技术特色的功能。模型对输入执行一次prefill-only前向计算后，直接对所有合法选项并行打分，而非逐个token生成文本。该机制将决策延迟从通用LLM的数秒级压缩至数十毫秒级，同时避免了开放式生成带来的输出格式漂移问题。

• 边缘托管低延迟： Clef依托Workers AI全球GPU网络运行，Clef中位延迟209毫秒、p95延迟238.6毫秒；Clef-flash中位延迟仅38.8毫秒、p95延迟122.4毫秒。边缘节点分布使模型能够就近响应请求，适合嵌入对延迟敏感的Agent热路径。

3. 如何使用

1. 注册账号与获取凭证： 注册Cloudflare账号，在控制台获取Account ID和API Token，并确认已开通Workers AI服务。API Token需要具备Workers AI相关的调用权限，建议使用独立Token并设置最小权限范围。

2. 选定模型规格： 根据业务需求选择模型版本。对精度要求高、延迟容忍度较大的场景（如工单深度分诊）选用@cf/cloudflare/clef；对延迟极度敏感的场景（如Bot流量实时判定）选用@cf/cloudflare/clef-flash。两个模型共享同一套API schema，切换成本极低。

3. 构造请求体： 请求体需包含三个核心字段：model指定模型名称；state承载待决策的输入内容（可以是纯文本或JSON结构化状态）；questions定义1至64个决策问题，每个问题需明确type（noul/choice/score）、选项列表及criteria边界描述。criteria书写得越清晰，模型的判定越准确。

4. 发起API调用： 在代码中通过REST方式POST请求到/accounts/{account_id}/ai/run/@cf/cloudflare/clef端点，或在Cloudflare Worker中通过env.AI.run()方法绑定调用。若使用官方SDK，需传入上述构造的请求体对象。

5. 解析概率结果： 响应体中的response.answers字段包含各问题的选项概率或加权分数。在实际业务逻辑中，采用"最高概率选项 + 置信度阈值"的策略做路由或拦截决策，例如设定0.7作为自动处理阈值，低于该值的请求自动升级人工。

6. 接入图片输入（可选）： 需要视觉判定时，将PNG/JPEG/WebP格式的图片二进制数据直接嵌入请求体，注意不要传远程URL。最多支持4张图片与文本联合输入。

7. 上线前压测： 在正式切换流量前，使用与生产环境相同长度的state和问题数量进行延迟与准确率实测。建议先以按比例分流的方式灰度切换，根据实测结果决定全量切至clef还是clef-flash，或在两者间按风险等级分流。

8. 进阶微调（可选）： 若业务领域标签较为特殊，可通过AI Gateway沉淀生产数据，再交由Cloudflare的FDE团队通过RL微调服务定制专属决策模型。该路径适合对准确率有极致要求且数据积累充分的团队。

注意事项： 问题数量与上下文长度直接影响延迟和成本，建议精简问题至最小必要集合；criteria描述应避免模糊表述，使用具体、可验证的判断标准；对概率阈值的选择应基于验证集上的精确率-召回率曲线，而非拍脑袋设定。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于已在生产环境使用Jev的团队，Clef是优先级较高的替换选项——API完全兼容意味着迁移成本极低，同时能获得翻倍的上下文窗口、视觉输入能力和2.5×至13×的延迟改善。特别是对延迟敏感的边缘决策场景（如网关流量判定、Bot识别），Clef-flash的38.8毫秒中位延迟具备明显竞争力。

对于尚未使用决策模型的团队，需要根据业务约束做权衡。如果追求私有化部署和完全的模型可控性，传统微调分类模型在延迟上仍有优势，但动态类别的缺失意味着每次业务变更都需要重新训练；如果更看重决策灵活性和概率可信度，且可接受Cloudflare平台绑定，Clef则提供了更现代的决策基础设施。通用LLM虽然泛化能力最强，但在结构化决策任务上存在延迟高、成本高、输出不稳定的结构性劣势，更适合作决策前的推理辅助而非高频决策主体。

6. 编辑总结

Clef在技术创新性上展现了明确的方向感。非自回归决策架构并非全新概念，但Clef将其工程化到了生产可用的水准——以27B和9B的模型规模，实现了毫秒级结构化决策输出，这背后是两阶段注意力路由、冻结底座加LoRA适配、Brier loss与RLCD强化学习等一系列设计共同作用的结果。其中，两阶段注意力路由让每个合法选项先提取相关上下文再互相交叉关注，这一机制在结构化决策任务中的效果值得关注。将决策延迟压至38.8毫秒并保持概率可校准性，说明Cloudflare在模型架构设计和训练目标设定上都做了针对性投入，而非简单复用通用LLM。不过，Clef在数据合成细节、RLCD具体实现等技术环节的披露仍不充分，学术界的独立复现和验证尚需更多信息。

从实用价值来看，Clef填补了通用LLM与专用分类器之间的空白地带。对于Agent类应用，工具调用前置审查、工单分诊、Bot判定等场景天然需要"快速、结构化、概率化"的决策能力，而非开放式文本生成。Clef将这一能力封装为与Jev兼容的标准化API，依托Workers AI的全球边缘节点实现低延迟推理，实测全流程2.2秒的威胁情报分类链足以证明其工程成熟度。尤其值得肯定的是Jev API兼容策略，这让Clef不仅是一个新模型，更是一个低迁移成本的基础设施升级选项。

适用人群方面，Clef主要面向三类开发者：其一，已经在使用Jev但受限于延迟或上下文长度的团队，可平滑迁移；其二，构建Agent类应用、需要毫秒级结构化决策能力的后端工程师；其三，运行在Cloudflare生态内的开发者，可借助Workers AI实现从模型推理到业务逻辑的全链路整合。对于希望私有化部署、或对概率校准机制有更深定制需求的团队，Clef目前的选择空间有限。

未来发展方向上，Clef最值得关注的演进路径包括：训练技术细节的透明化（有助于社区生态繁荣）、推理环境从Workers AI向更多平台扩展、以及视觉能力从"嵌入图片打分"向更复杂的多模态推理演进。决策模型作为一个独立品类正在快速成型，Clef凭借开源策略和性能数据在该赛道占据了较为有利的身位，其后续版本值得持续关注。

7. 应用场景

• 客服工单智能分诊： 输入工单文本内容与用户截图，在单次请求中同时完成多个决策问题：是否紧急、该路由至哪个技术团队、严重度评分为多少。低置信度工单自动升级至人工处理，避免误判带来的服务风险。实测中Clef能在209毫秒内完成一组典型分诊决策，大幅缩短工单响应链路。

• 威胁情报与反钓鱼分类： 结合Browser Run抓取并渲染目标网页，将页面截图与域名信息一同输入Clef，对域名/页面进行多标签威胁分类，如钓鱼、诈骗、恶意下载等。官方实测该全流程仅需约2.2秒，相比人工分析或传统规则引擎在识别新变种钓鱼站点时效率更高。

• Bot流量意图判定： 在网关热路径部署Clef-flash，对每个入站请求快速判断爬虫身份是善意（如搜索引擎抓取）还是恶意（如撞库、数据爬取），毫秒级决定拦截或放行。38.8毫秒的中位延迟使其不会对正常流量造成可感知的额外开销，适合高并发边缘防护场景。

• Agent高风险工具调用前置审查： Agent执行删除数据、发送消息、调用外部API等高风险操作之前，先将操作描述与工具列表输入Clef，询问"该不该执行、应选用哪个工具"，并依据概率阈值决定直接放行、请求用户确认或拒绝执行。这一机制为Agent的自主行为增加了一道可配置的安全闸门。

• 日志异常模式识别： 借助64K上下文窗口，将长时段系统日志或JSON状态快照整体输入Clef，对异常模式进行多分类打分，识别故障类型、影响范围与建议处理优先级，辅助运维人员快速定位根因。

8. 常见问题FAQ

Q：Clef与通用大语言模型（如GPT-4o、Llama 3）的本质区别是什么？
A：通用LLM的核心机制是逐token自回归生成文本，输出内容为开放式自然语言；而Clef采用非自回归决策架构，对输入做一次prefill后直接对所有合法选项并行打分，输出为结构化的概率分布。通用LLM适合需要解释、生成和开放式推理的任务，但延迟高且输出格式不稳定；Clef适合高频、结构化、需要概率置信度的决策任务，延迟可低至38.8毫秒。

Q：Clef如何在请求中动态定义新类别？是否需要重新训练？
A：Clef的类别在请求的questions字段中临时定义，用户只需在每次请求中写清楚问题的type、选项列表和criteria边界即可。模型会在推理时根据schema动态适配，无需针对新增类别重新训练或微调。与传统分类器每次新增标签都需要重新训练和部署相比，这大幅简化了业务迭代流程。

Q：非自回归决策模型的原理是什么？为什么能做到毫秒级延迟？
A：Clef先对输入执行一次prefill-only前向计算，建立对输入内容的内部表示。随后通过两阶段注意力路由：每个合法选项先从prompt中提取与自身相关的上下文，各字段参数互相cross-attend并回连原始payload联合建模，最终将证据汇总为schema约束下的分数。整个过程中不逐token生成文本，因此避免了自回归解码的串行开销，可将决策延迟压缩到一次前向传播的量级。

Q：Clef和Clef-flash在性能上如何取舍？生产环境如何选择？
A：Clef（27B）中位延迟209.3ms、p95延迟238.6ms，在Jev Decision Index上排名第一，官方10项决策基准中7项取得最高分，适合精度优先的离线或近实时场景。Clef-flash（9B）中位延迟仅38.8ms、p95延迟122.4ms，适合对延迟极度敏感的在线热路径。建议在灰度阶段按风险分流：高风险决策用Clef，低风险高频决策用Clef-flash，以实测数据为准调整比例。

Q：Clef是否免费？模型权重是否开源？
A：Clef的模型权重已在HuggingFace上开源，可自由下载研究。但推理服务依托Cloudflare Workers AI平台运行，调用按Workers AI的计费标准收费。Workers AI提供免费额度供开发者试用，超出部分按调用量计费。若希望完全本地部署，需从HuggingFace下载权重后在自有环境运行推理框架。

Q：从Jev迁移到Clef需要改动多少代码？
A：两者API schema完全兼容，迁移时基本只需修改两处：API端点和模型名。现有的请求体结构、问题定义格式、响应解析逻辑均可复用。对于使用Jev官方SDK的开发者，切换至Cloudflare Workers AI端点并调整模型名参数即可完成迁移。

Q：Clef是否支持私有化部署？能否脱离Cloudflare平台运行？
A：模型权重已开源，理论上可以在自有基础设施上部署推理服务。但官方目前未提供面向私有化部署的优化方案和容器化配置，且模型深度利用了Workers AI的边缘GPU网络实现低延迟托管。若自行部署，延迟表现将取决于硬件配置和网络条件，可能无法复现官方的38.8ms中位延迟水平。对延迟不敏感的场景，可自行部署测试；对延迟敏感的生产场景，建议使用Workers AI托管。

9. 项目地址

• 项目官方博客：https://blog.cloudflare.com/clef-decision-models/
• Workers AI 官方文档：https://developers.cloudflare.com/workers-ai/
• HuggingFace模型库（Clef 27B）：https://huggingface.co/Cloudflare/clef
• HuggingFace模型库（Clef-flash 9B）：https://huggingface.co/Cloudflare/clef-flash