LFM2.5-24B-A2B发布：24B参数MoE仅2B活跃，支持端侧私有智能体

LFM2.5-24B-A2B 是一个拥有 24B 参数但仅激活 2B 参数的推理模型，专为在设备端运行快速、私密的智能体而设计。它在回答前会进行思考，调用工具，并在流行的智能体框架中处理多步骤任务。由于每个 token 仅激活 2B 参数，每个推理 token 的成本较低，因此您可以在自己的硬件上持续运行智能体。

• 同类最佳智能体： 在智能体和工具使用任务上，与拥有约 50% 更多总参数和激活参数的 Qwen3.6-35B-A3B 模型具有竞争力，在 LiveClaw 上得分 48.09，而对方为 38.19。
• MoE 速度的推理： 回答前始终会进行思考。由于每个 token 仅激活 2B 参数，每个推理 token 的成本较低。
• 高效推理： 在 Apple M5 Max 上达到 184 tok/s，在单块 NVIDIA B300 GPU 上最高可达 21K 输出 tok/s。

我们如何构建一个拥有 2B 激活参数的推理智能体

LFM2.5-24B-A2B 基于 LFM2-24B-A2B 构建，并保留了其架构：40 层，每个 MoE 块包含 64 个专家并采用 top-4 路由，以及相同的门控短卷积和 GQA 混合结构。上下文窗口从 32K 扩展到 131K tokens，并通过 原位分词器扩展 将词汇量从 65K 翻倍至 128K tokens，以改善非拉丁字符的分词。与 predecessor 不同，它是一个纯推理模型，在给出最终答案前会生成显式的思维链。

预训练规模从约 17T 扩展到约 33T tokens。中期训练随后在 32K 上下文下增加 2T tokens，权重偏向推理、数学、代码、指令遵循和多语言文本，并在 131K 上下文下增加 300B tokens，权重偏向长上下文数据。工具调用和多轮轨迹贯穿这两个阶段。后训练通过五个阶段将基础模型转化为智能体：

1. 监督微调 (SFT)
2. 教师专业化
3. 多领域在线策略蒸馏 (MOPD)，非智能体： 在非智能体任务上蒸馏专家教师。
4. MOPD，智能体： 专注于智能体任务的第二阶段蒸馏。
5. 智能体强化学习 (Agentic RL)： 在智能体框架内训练模型，例如 OpenClaw、Hermes Agent、Pi 和 OpenCode。

基准测试结果

我们在 16 个涵盖工具使用和智能体工作流、知识、指令遵循、数学和编码的基准上，将 LFM2.5-24B-A2B 与 Qwen3.6-35B-A3B、Gemma-4-26B-A4B-it 和 Nemotron-3.5-Lightning 进行了评估。它是该组中最小的模型，但与拥有约 50% 更多总参数和激活参数的 MoE 模型具有竞争力。

*所有模型均使用 vLLM 进行评估，并采用各基准推荐的生成参数。

对于您的应用而言，其优势在于工具使用（tool use）和指令遵循（instruction following）。LFM2.5-24B-A2B 在八项工具使用和智能体（agentic）基准测试（AutomationBench、BFCLv4、ToolSandbox、LiveClaw 和 τ³-Bench Banking）中的五项上领先或持平于竞争对手，并且在 AutomationBench 上的得分是次优模型的三倍以上。它还在所有三项指令遵循基准测试中领先。在 GPQA Diamond、HLE 和 AA-Omniscience 等知识密集型基准测试，以及 SWE-Bench Verified (OpenCode) 和 SciCode 等编码基准测试中，更大的模型仍保持优势，因此建议将 LFM2.5-24B-A2B 与检索或网络搜索结合使用，以处理知识密集型工作负载。

这些结果使 LFM2.5-24B-A2B 成为需要推理、调用工具并在您的设备上可靠运行的智能体的强大基础。

CPU 和 GPU 上的推理速度

LFM2.5-24B-A2B 在推理生态系统中提供首日支持，包括 llama.cpp、MLX、vLLM、SGLang 和 ONNX。

边缘推理。 LFM2.5-24B-A2B 是所比较的 MoE 模型中最快的，在 M5 Max 上解码速度为 184 tokens/s，在 Ryzen AI Max+ 395 上为 114 tokens/s。这比次优模型快至多 1.7 倍，同时使用最少的内存。

GPU 推理。 LFM2.5-24B-A2B 是其规模级别中最快的模型，在单个 B300 上高并发时，输出速度超过每秒 21K tokens。

如何使用 LFM2.5-24B-A2B

当您需要能够推理、调用工具并在您的设备上可靠运行的智能体时，请使用 LFM2.5-24B-A2B。

安装 transformers 的最新版本（与 transformers>=5.0.0 兼容）：

pip install -U transformers

然后加载并运行模型：

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

model_id = "LiquidAI/LFM2.5-24B-A2B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    dtype="bfloat16",
#   attn_implementation="flash_attention_2" <- uncomment on compatible GPU
)
tokenizer = AutoTokenizer.from_pretrained(model_id)
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

prompt = "What is C. elegans?"

input_ids = tokenizer.apply_chat_template(
    [{"role": "user", "content": prompt}],
    add_generation_prompt=True,
    return_tensors="pt",
    tokenize=True,
)["input_ids"].to(model.device)

output = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.1,
    top_k=50,
    repetition_penalty=1.05,
    max_new_tokens=512,
    streamer=streamer,
)

在您的智能体框架中使用它

在本地通过任何 OpenAI 兼容的后端部署 LFM2.5-24B-A2B，然后将您的智能体框架指向它。例如，使用 Hermes Agent：

hermes config set model.provider custom
hermes config set model.base_url http://localhost:8080/v1
hermes config set model.default LFM2.5-24B-A2B
hermes config set model.context_length 131072
hermes config set model.api_mode chat_completions
hermes config set agent.tool_use_enforcement true

端口取决于您的服务后端：llama.cpp 和 MLX 使用 8080，vLLM 使用 8000，SGLang 使用 30000，LM Studio 使用 1234。请参阅 模型卡片 获取 OpenClaw 和 Pi 的配置，以及 我们的指南 获取完整设置。查看我们的 发布博客 获取视频示例。

开始使用 LFM2.5-24B-A2B

LFM2.5-24B-A2B 和 LFM2.5-24B-A2B-Base 均为开放权重，并已在 Hugging Face 上可用：

• 下载： Hugging Face 上的 LFM2.5-24B-A2B-Base 和 LFM2.5-24B-A2B。
• 在您的框架中使用： 遵循我们的 指南，了解如何运行本地智能体，如 OpenClaw、Hermes Agent 和 Pi。
• 微调： 使用我们的 微调教程 将 LFM2.5-24B-A2B 适配到您的任务。

我们迫不及待地想看看您构建了什么。

引用

如果您使用本工作，请引用发布博客：

@article{liquidAI202624BA2B,
  author  = {Liquid AI},
  title   = {LFM2.5-24B-A2B: Built for Fast On-Device Agents},
  journal = {Liquid AI Blog},
  year    = {2026},
  note    = {www.liquid.ai/blog/lfm2-5-24b-a2b},
}