Prhub

#29321 Add LFM2.5-230M to the LFM2.5 cookbook

原始 PR 作者 vincentzed 合并时间 2026-06-26 08:27 文件变更 4 提交数 1 评论 2 代码增减 +86 / -4

执行摘要

LFM2.5 cookbook 新增 230M 模型变体

LiquidAI 公开了 LFM2.5-230M (HuggingFace 链接),这是 LFM2.5 系列中最紧凑的稠密模型。本 PR 将其加入现有的 LFM2.5 cookbook 页面,使用户可以在 SGLang 中直接部署和参考基准数据。

可快速合并,作为 cookbook 的常规更新。

讨论亮点

无实质性讨论。PR 由 JustinTong0323 直接批准,未产生 review 评论。

实现拆解

  1. lfm2.5.jsx:在配置对象的 variants 列表、modelNames 映射、defaultAccuracy 对象以及三个硬件平台 (H100/H200/B200) 的 verified 启动单元中各新增一条 230m 条目,部署参数与 350M 相同(TP=1、--tool-call-parser lfm2,B200 额外使用 --attention-backend trtllm_mha)。
  2. lfm2.5-benchmarks.jsx:在 benchmarks 数组中为 H100/H200/B200 各自插入一条 230M 的 match 与实测速度数据(latency c1 和 throughput c100)。
  3. LFM2.5.mdx:在可用模型表格、推荐采样配置、工具调用列表、Base 检查点列表中添加 230M 行,并更新描述文本(支持变体数从 7 变为 8)。
  4. generative_models.mdx:将 LFM2 的尺寸列表从 (350M, 1.2B) 更新为 (230M, 350M, 1.2B)
文件 模块 状态 重要度
docs_new/src/snippets/configs/LiquidAI/lfm2.5.jsx 部署配置 modified 5.42
docs_new/src/snippets/configs/LiquidAI/lfm2.5-benchmarks.jsx 基准数据 modified 5.28
docs_new/cookbook/autoregressive/LiquidAI/LFM2.5.mdx 指南文档 modified 3.13
docs_new/docs/supported-models/generative_models.mdx 模型列表 modified 2.35

关键源码片段

docs_new/src/snippets/configs/LiquidAI/lfm2.5.jsx configuration

cookbook 的部署配置核心文件,新增 230M 变体的 all 配置项(variants、modelNames、defaultAccuracy、verified cells),是本次变更的主要入口。

// Single `export const config` literal — no spreads/calls/IIFE (Mintlify re-evals at hydration).
// Cells are denormalized: no `--nnodes`/`--node-rank`/`--dist-init-addr`/`--host`/`--port` literals — engine injects them.// LFM2.5 note: every variant runs on ONE GPU (TP=1), so the matrix is
// hw × variant only (single quant / strategy / nodes).export const config = {
  modelName: "LFM2.5",
  supportedHardware: ["h100", "h200", "b200"],
  variants: [
    { id: "8b-a1b", label: "8B-A1B", subtitle: "8.3B MoE · reasoning" },
    { id: "instruct", label: "1.2B Instruct", subtitle: "1.17B dense" },
    { id: "thinking", label: "1.2B Thinking", subtitle: "1.17B · reasoning" },
    { id: "350m", label: "350M", subtitle: "dense" },
    { id: "230m", label: "230M", subtitle: "dense · compact" }, // <-- 新增变体
    { id: "jp", label: "1.2B JP", subtitle: "Japanese" },
    { id: "vl", label: "VL 1.6B", subtitle: "vision" },
    { id: "vl-450m", label: "VL 450M", subtitle: "vision · compact" },
  ],
  quantizations: [{ id: "bf16", label: "BF16" }],
  strategies: [{ id: "default", label: "Default" }],
  nodesOptions: [{ id: "single", label: "Single Node" }],
  modelNames: {
    "8b-a1b|bf16": "LiquidAI/LFM2.5-8B-A1B",
    "instruct|bf16": "LiquidAI/LFM2.5-1.2B-Instruct",
    "thinking|bf16": "LiquidAI/LFM2.5-1.2B-Thinking",
    "350m|bf16": "LiquidAI/LFM2.5-350M",
    "230m|bf16": "LiquidAI/LFM2.5-230M", // <-- 新增模型 ID
    "jp|bf16": "LiquidAI/LFM2.5-1.2B-JP-202606",
    "vl|bf16": "LiquidAI/LFM2.5-VL-1.6B",
    "vl-450m|bf16": "LiquidAI/LFM2.5-VL-450M",
  },
  defaultAccuracy: {
    "8b-a1b": { mmlu_pct: 76.61, gsm8k_pct: 91.96, gpqa_pct: 52.27, aime25_pct: 45.21 },
    thinking: { mmlu_pct: 63.2, gsm8k_pct: 86.35, gpqa_pct: 39.08, aime25_pct: 27.08 },
    instruct: { mmlu_pct: 60.33, gsm8k_pct: 75.13, gpqa_pct: 34.41, aime25_pct: 9.58 },
    "350m": { mmlu_pct: 40.69, gsm8k_pct: 30.63, gpqa_pct: 28.35 },
    "230m": { mmlu_pct: 38.45, gsm8k_pct: 31.84, gpqa_pct: 27.78 }, // <-- 新增精度数据
    vl: { mmmu_pct: 39.12 },
    "vl-450m": { mmmu_pct: 30.56 },
  },
  // ...(其余配置如 placeholders、curl、benchmarkCommands、dockerImages 等保持不变)
};
docs_new/src/snippets/configs/LiquidAI/lfm2.5-benchmarks.jsx configuration

基准测试数据文件,为 230M 在三个硬件上提供实测速度数据,方便用户评估性能。

// benchmarks 数组中的新增条目示例(H100):
{
  match: { hw: "h100", variant: "230m", quant: "bf16", strategy: "default", nodes: "single" },
  sglang_version: "0.0.0.dev1+g631db6c75",
  speed: [
    { workload: { dataset: "random", isl: 1024, osl: 1024, max_concurrency: 1, num_prompts: 10 },
      ttft_ms: 23.74, tpot_ms: 1.77, tokens_per_sec_per_gpu: 546.07 },
    { workload: { dataset: "random", isl: 1024, osl: 1024, max_concurrency: 100, num_prompts: 1000 },
      ttft_ms: 1128.14, tpot_ms: 4.54, tokens_per_sec_per_gpu: 14280.32 },
  ],
},
// 类似条目也为 H200 和 B200 添加,分别标注 ttft_ms / tpot_ms / throughput。

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

纯文档变更,不涉及任何代码逻辑、配置文件解析或运行时路径,无回归、性能、安全或兼容性风险。

对用户:可在 cookbook 页面找到 LFM2.5-230M 的部署命令、精度和速度基准,降低上手成本。对团队:低维护成本,后续若有模型更新只需更新基准数据。

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论