Prhub

#27409 add lfm2.5 to new cookbook.

原始 PR 作者 vincentzed 合并时间 2026-06-12 11:08 文件变更 6 提交数 1 评论 9 代码增减 +1050 / -0

执行摘要

添加 LiquidAI LFM2.5 部署文档与基准配置

为 LiquidAI LFM2.5 模型提供官方部署文档和基准数据,降低用户部署门槛,确保部署配置和性能数据经过验证且可复现。

建议读者重点了解 config-driven 的 cookbook 实现模式,以及如何通过 snippets 和组件统一管理模型配置和基准数据。关注 LiquidAI 模型的用户可直接参考该页面了解部署细节和性能表现。

讨论亮点
  • 移除 mode: wide:zijiexia 要求移除,参考 PR#27830,vincentzed 已执行。
  • 基准数据移入配置文件:zijiexia 建议将冗长的基准表格移入 lfm2.5-benchmarks.jsx,vincentzed 执行并扩展了 _deployment.jsx 的 ACCURACY_LABELS。
  • 添加精度评估 reproduce 命令:zijiexia 请求在 config 的 benchmarkCommands 中添加评估复现命令,vincentzed 添加了 GSM8K/GPQA/AIME25/MMLU/MMMU 的 sgl-eval 命令,所有值在 B200 上实测。

实现拆解

  1. 新增部署配置片段docs_new/src/snippets/configs/LiquidAI/lfm2.5.jsx 定义 7 个模型变体、单量化(BF16)、单策略、单节点,支持硬件 H100/H200/B200,包含模型名称映射、占位符、curl 和 benchmark 命令模板。关键导出符号 config
  2. 新增基准性能数据docs_new/src/snippets/configs/LiquidAI/lfm2.5-benchmarks.jsxmatch 元组索引,提供每个(硬件,变体)组合在单 GPU 下的 TTFT、TPOT 和 tokens_per_sec_per_gpu 数据,覆盖低并发和高并发场景,数据在 Modal GPU 实测。关键导出符号 benchmarks
  3. 编写 cookbook 页面docs_new/cookbook/autoregressive/LiquidAI/LFM2.5.mdx 采用统一的 <Deployment> 组件导入 config 和 benchmarks,生成交互式命令面板和基准卡片,包含安装指南和模型说明。
  4. 更新文档导航docs_new/docs.json 新增 LiquidAI 分组和页面路径;docs_new/cookbook/autoregressive/intro.mdx 添加 LiquidAI 卡片和 logo。
  5. 添加 logo 图片docs_new/cards/logos/liquidai.png 作为品牌标识。

Review 过程中根据建议移除了 mode: wide,将基准数据移入配置驱动方式,并扩展了 _deployment.jsx 的 ACCURACY_LABELS 以支持新评估键,其他 cookbook 不受影响。

文件 模块 状态 重要度
docs_new/src/snippets/configs/LiquidAI/lfm2.5.jsx 文档片段 added 7.07
docs_new/src/snippets/configs/LiquidAI/lfm2.5-benchmarks.jsx 文档片段 added 7.04
docs_new/cookbook/autoregressive/LiquidAI/LFM2.5.mdx 文档页面 added 5.85
docs_new/docs.json 导航配置 modified 3.37
docs_new/cookbook/autoregressive/intro.mdx 首页 modified 3.01
docs_new/cards/logos/liquidai.png 品牌图片 added 2.17

关键符号

chat

关键源码片段

docs_new/src/snippets/configs/LiquidAI/lfm2.5-benchmarks.jsx core-logic

包含 LFM2.5 在 H100/H200/B200 上的详细性能基准数据,用于 benchmark 卡片

// 每个基准条目对应一个(hw, variant, quant, strategy, nodes)组合
export const benchmarks = [
  // ===== H100 =====
  {
    match: { hw: "h100", variant: "8b-a1b", quant: "bf16", strategy: "default", nodes: "single" },
    sglang_version: "0.0.0.dev1+g631db6c75",
    speed: [
      // 低并发 (latency) : 10 prompts, concurrency=1
      { workload: { dataset: "random", isl: 1024, osl: 1024, max_concurrency: 1, num_prompts: 10 },
        ttft_ms: 287.24, tpot_ms: 2.4, tokens_per_sec_per_gpu: 325.11 },
      // 高并发 (throughput): 1000 prompts, concurrency=100
      { workload: { dataset: "random", isl: 1024, osl: 1024, max_concurrency: 100, num_prompts: 1000 },
        ttft_ms: 171.72, tpot_ms: 11.87, tokens_per_sec_per_gpu: 7875.37 },
    ],
  },
  // 其余变体和硬件的条目结构相同,省略以保持简洁
];

评论区精华

移除 mode: wide style

zijiexia 要求移除 mode: wide,参考 PR#27830

结论:vincentzed 移除该设置 · 已解决

基准数据移入配置文件 设计

zijiexia 建议将冗长的基准表格从 cookbook 页面移入 benchmarks.jsx,使用配置驱动方式

结论:vincentzed 执行,并将精度数据添加到 config 的 defaultAccuracy,扩展了 _deployment.jsx 的 ACCURACY_LABELS · 已解决

添加精度评估的 reproduce 命令 documentation

zijiexia 询问能否在 benchmarkCommands 中添加精度评估的复现命令

结论:vincentzed 添加了 GSM8K/GPQA/AIME25/MMLU/MMMU 的 sgl-eval 命令,所有值在 B200 上实测 · 已解决

风险与影响

本 PR 仅涉及文档和配置片段,无运行时代码变更。主要风险是基准数据可能随 SGLang 版本更新而过时,但数据包含 sglang_version 且 reproduce 命令明确。扩展 _deployment.jsx 的 ACCURACY_LABELS 仅当 config 中出现对应键时渲染,不破坏其他 cookbook。

对用户,提供一站式 LFM2.5 部署指南和可复现的性能基准,降低使用门槛。对文档架构,展示了 config-driven cookbook 新模式,便于后续模型扩展。对团队,需关注基准数据随版本更新,但可通过 CI 自动化维护。

文档变更 基准数据版本依赖

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论