LFM2.5-24B-A2B – Liquid AI 开源的端侧推理模型

1. LFM2.5-24B-A2B是什么

LFM2.5-24B-A2B 是 Liquid AI 推出的开源权重推理模型，隶属 LFM2.5 系列旗舰产品。该模型采用 40 层混合专家（MoE）架构，总参数量达 24B，但每个 token 仅激活 2.45B 参数，支持 131K 上下文窗口与 16 种语言。LFM2.5-24B-A2B 在回答前会生成显式思维链（CoT），专为端侧 Agent 场景优化，其 LiveClaw 得分达 48.09，反超参数量多 50% 的 Qwen3.6-35B-A3B，在 Apple M5 Max 上解码速度达 184 tok/s，较同类 MoE 模型快 1.7 倍。该模型面向本地私有化部署的推理与工具调用场景，在知识密集型任务中建议搭配检索增强使用。

技术定位与领域： LFM2.5-24B-A2B 属于自然语言处理领域的稀疏激活 MoE 模型，专注端侧智能体推理与工具调用场景，在“大容量、低算耗”方向上形成独特定位，适用于消费级硬件上的私有化部署。

研发背景： 该模型由 Liquid AI 团队开发，基于此前 LFM2-24B-A2B 的主体架构迭代而来。团队在 MoE 稀疏激活与混合线性架构上有持续技术积累，此次发布延续了其在边缘设备高效推理方向的研究路线。

核心价值： 模型以不足 3B 的激活参数量实现接近 35B 级模型的 Agent 推理表现，在 LiveClaw、AutomationBench 等工具调用基准上显著超越同级模型，解决了端侧模型在工具使用与多步推理任务中能力受限的痛点，同时将推理成本控制在较低水平。

技术特点： 采用 30 层双门控短卷积与 10 层 GQA 交替堆叠的混合架构，兼顾局部特征提取与长程依赖建模；通过词表原地扩展将词表翻倍至 128K，显著优化非拉丁语系分词效率；三阶段训练流程与五阶段后训练结合真实智能体框架的强化学习，使模型获得稳定的 Agent 能力。

2. 主要功能

• 端侧 Agent 推理： 模型专为在个人设备上本地运行的快速、私密智能体设计，可在 MacBook 等硬件上持续运行规划、工具调用与任务执行流程，且数据全程不出设备。相比云端调用，该模式在隐私保护与响应延迟上具备结构优势。

• 纯推理模式： 回答前自动生成显式思维链（CoT），以低激活成本换取答案质量的提升。由于每 token 仅激活 2.45B 参数，思维链带来的额外计算开销被控制在实际可接受的范围，使得模型在消费级设备上也能执行复杂推理任务。

| - 函数调用： 原生支持四步工具调用流程，模型可通过 `<|tool_call_start|

• 多格式部署： 提供原生 BF16、FP8、GGUF、ONNX、MLX-4bit 等版本，覆盖 NVIDIA GPU、CPU、Apple Silicon 以及边缘设备等不同硬件环境。其中 GGUF 格式适配 llama.cpp、LM Studio 等本地推理工具，MLX 格式针对 Apple Silicon 优化，FP8 版本则面向高吞吐服务场景。

• 长上下文处理： 支持 131,072 token 的上下文窗口，可处理长文档、多轮智能体轨迹等复杂输入。上下文窗口从上一代的 32K 扩展至 131K，并配合专项长文本训练，使模型在长序列场景下保持稳定输出质量。

• 多语言能力： 覆盖英语、中文、日语、韩语、阿拉伯语等 16 种语言，搭配 128K 词表优化非拉丁语系的分词效率。词表原地扩展技术使模型在中文、日文等语言上的 token 效率得到显著改善，减少了长文本处理所需的 token 数量。

• 快速推理： 在 Apple M5 Max 上实测解码速度达 184 tok/s，对比同类 MoE 模型提升约 1.7 倍；在单卡 NVIDIA B300 上推理吞吐超 21K tok/s。得益于双门控短卷积结构带来的线性层高效计算，模型在同规模 MoE 中具备速度与内存占用优势。

3. 如何使用

1. 环境要求： 模型支持多硬件平台，包括 NVIDIA GPU、AMD、Qualcomm、Apple Silicon 及纯 CPU 环境。Python 环境需安装 transformers>=5.0.0，或部署 vLLM、SGLang、llama.cpp、LM Studio 等推理框架。建议开发环境内存不低于 16GB，实际需求视部署格式而定。

2. 下载模型： 从 Hugging Face 下载 LiquidAI/LFM2.5-24B-A2B 仓库，根据硬件条件选择合适的权重版本：NVIDIA GPU 可选用原生 BF16 或 FP8 格式；Apple Silicon 建议使用 MLX-4bit；CPU 环境使用 GGUF 量化版；边缘设备可使用 ONNX 导出格式。

3. 加载模型： 使用 Hugging Face Transformers 库加载模型，核心代码如下：

   from transformers import AutoModelForCausalLM, AutoTokenizer
   model = AutoModelForCausalLM.from_pretrained(
       "LiquidAI/LFM2.5-24B-A2B",
       torch_dtype="bfloat16"
   )
   tokenizer = AutoTokenizer.from_pretrained("LiquidAI/LFM2.5-24B-A2B")
   

4. 构造提示与参数设置： 使用 tokenizer.apply_chat_template() 自动套用 ChatML 格式模板。生成时建议采用官方推荐参数：temperature=0.1、top_k=50、repetition_penalty=1.05；涉及思维链任务时，将 max_new_tokens 设为 4096 以上以预留推理空间。

| 配置工具调用： 将工具列表以 JSON 格式写入 system prompt，模型在需要调用工具时会以 `<|tool_call_start|

6. 接入 Agent 框架： 通过 OpenAI 兼容接口在本地启动服务，再接入 OpenClaw、Hermes Agent、Pi 或 OpenCode 等智能体框架，即可作为框架的底层推理引擎驱动完整工作流。

4. 优缺点分析

5. 同类工具对比

以下选取 Qwen3.6-35B-A3B（阿里）、DeepSeek-V2-Lite（深度求索）与 Llama 3.1 8B（Meta）三款定位相近的模型进行横向对比。

选型建议： 对于需要在 MacBook 或消费级显卡上运行本地私有 Agent 的用户，LFM2.5-24B-A2B 的低激活参数量与高推理速度使其成为当前效率较优的选择，尤其在工具调用与多步工作流场景中表现出较强竞争力。其多格式部署设计也使其在 Apple Silicon 和 CPU 设备上的可用性高于多数同类模型。

对于以知识问答、文档理解为主的应用场景，Qwen3.6-35B-A3B 在 GPQA Diamond 等知识密集型基准上领先约 12%，且其生态更为成熟，适合知识型任务优先的部署环境。若开发资源有限且需要完整的中文资料支持，DeepSeek-V2-Lite 与 Llama 3.1 8B 的社区沉淀更为深厚，可作为备选参考。

6. 编辑总结

LFM2.5-24B-A2B 在端侧 MoE 模型的设计理念上展现出较高的技术完整性。其 24B 总参仅激活 2.45B 的稀疏架构，配合双门控短卷积与 GQA 的混合层设计，在推理效率与模型能力之间取得了实际的平衡。从实测数据看，该模型的端侧 Agent 能力在 LiveClaw、AutomationBench 等基准上反超或大幅领先参数量多 50% 的竞品，说明其架构选择对工具调用与多步推理场景具有针对性优化。

实用价值层面，该模型提供的多格式部署选项（原生、FP8、GGUF、ONNX、MLX）覆盖了从云端 GPU 到边缘设备的全谱系硬件，尤其对 Apple Silicon 用户具备直接可用性，这在一定程度上降低了端侧私有化部署的工程门槛。开放权重与可商用授权也为企业基于私有数据微调提供了灵活性。需要注意的是，模型在知识密集型任务上与传统 35B 级模型存在差距，在金融、医疗等知识要求较高的场景中建议搭配检索增强使用。

适用人群定位为有技术背景的开发者与注重数据隐私的企业用户，应用方向涵盖本地 Agent 开发、离线助手部署及业务流程自动化。从模型架构与训练流程的规划来看，该模型在后续迭代中具备在保持低激活成本的前提下继续提升知识容量的潜力，值得持续关注其后续版本更新与社区生态建设。

7. 应用场景

• 端侧私有 Agent： 在 MacBook 等个人设备上全天候运行本地智能体，完成规划、工具调用与任务执行流程。模型全程在本机推理，对话数据不离开设备，适用于对数据隐私有严格要求的工作场景，如企业内部信息处理与个人助理应用。

• 离线/边缘助手： 通过 GGUF、ONNX、MLX 格式部署到网络不稳定或无网环境，包括车载系统、野外作业终端与嵌入式设备。模型无需联网即可完成文本生成、摘要与基础问答，在弱网环境下提供可靠的离线推理能力。

• 智能工具调度： 作为 OpenClaw、Hermes Agent、OpenCode 等框架的驱动模型，执行定时简报生成、文件整理、代码操作等多步工作流。模型原生支持四步工具调用流程，可串联多个 API 或本地工具完成复合任务，减少人工介入。

• 业务流程自动化： 利用其在 ToolSandbox、τ³-Bench Banking 等基准上的优势，处理银行、订单、招聘等需要查询系统并多轮确认的业务办理对话。模型通过函数调用机制对接业务系统，实现查询、验证、确认的自动化闭环。

8. 常见问题FAQ

Q：LFM2.5-24B-A2B 对硬件配置有什么要求？
A：模型支持多档硬件环境。NVIDIA GPU 用户可使用原生 BF16 格式，建议显存不低于 24GB；FP8 格式可将显存需求降至约 16GB。Apple Silicon 用户推荐使用 MLX-4bit 版本，16GB 内存的 M 系列芯片即可流畅运行。纯 CPU 环境可使用 GGUF 量化版，但推理速度会显著低于 GPU 方案。

Q：模型是否支持中文？效果如何？
A：支持中文，且是重点优化的语言之一。模型词表在上一代 65K 基础上原地扩展至 128K，显著改善了中文、日文等非拉丁语系的分词效率，同一段中文文本所需的 token 数量较前代明显减少。中文场景下建议将 max_new_tokens 设置为较高值以覆盖思维链输出空间。

Q：如何在本地部署模型的工具调用能力？
| A：将工具列表以 JSON 格式写入 system prompt，模型在需要调用工具时会输出 `<|tool_call_start|

Q：模型与 Qwen3.6-35B-A3B 相比如何选择？
A：两者各有侧重。LFM2.5-24B-A2B 在 Agent 推理效率与工具调用能力上表现更优（LiveClaw 48.09 对 38.19，AutomationBench 超 3 倍），且激活参数量更少、端侧部署更快。但 Qwen3.6-35B-A3B 在知识问答（GPQA 83.69 对 74.42）与网页操作（WebArena 37.62 对 26.75）上领先。知识密集型场景选择 Qwen3.6，工具调用与端侧 Agent 场景选择 LFM2.5-24B-A2B。

Q：模型是否可以商用？是否有限制？
A：LFM2.5-24B-A2B 的基座与后训练模型均开放权重，支持自由下载、微调与商用，无额外授权限制。企业可基于模型权重进行私有化部署与定制化微调，适用于商业产品的底层推理引擎。

Q：能否在纯 CPU 环境下运行？速度如何？
A：可以。通过 GGUF 格式配合 llama.cpp 或 LM Studio 可在纯 CPU 环境运行，但速度取决于硬件与量化级别。相比 GPU 环境，CPU 推理速度会明显下降，建议用于对响应时延不敏感的离线批处理场景。若需实时交互体验，推荐使用 Apple Silicon 或 NVIDIA GPU。

9. 项目地址

• HuggingFace 模型仓库： https://huggingface.co/LiquidAI/LFM2.5-24B-A2B （模型权重与版本说明，含全部部署格式介绍）