Prhub

#30320 [Doc] Add LongCat 2.0 FP8 cookbook

原始 PR 作者 BBuf 合并时间 2026-07-08 02:48 文件变更 6 提交数 3 评论 2 代码增减 +422 / -0

执行摘要

新增 LongCat-2.0 FP8 部署 cookbook

为 Meituan LongCat-2.0-FP8 模型提供官方部署文档,遵循 SGLang 文档的 config-driven cookbook 模板,方便用户快速部署和调优。PR body 说明 'Regenerate the LongCat-2.0 FP8 cookbook with the config-driven Deployment / Playground template.'

值得阅读以了解 SGLang 配置驱动 cookbook 的模板结构。重点关注 longcat-2.0.jsx 中 cells 和 playgroundFeatures 的设计模式,可供其他模型 cookbook 参考。建议后续完善 MTP 说明和硬件验证。

讨论亮点

审核者 zijiexia 批准但指出两个后续事项:

1) 文档缺少对 LongCat-2.0 三阶段 MTP 模块和 speculative decoding 的说明;
2) 需要验证其他硬件(H200/B200/H20)上的部署配置。未形成深入讨论。

实现拆解

  1. 创建配置片段:在 docs_new/src/snippets/configs/meituan-longcat/longcat-2.0.jsx 中定义 config 对象,包含模型标识、支持的硬件、占位符、部署组合(cells)和 playground 功能。每个 cell 指定了匹配元组和启动 flags。
  2. 添加基准数据:在 longcat-2.0-benchmarks.jsx 中导出 benchmarks 数组,包含 B300 单节点的 GSM8K 准确率 95.89%。
  3. 编写 cookbook 页面cookbook/autoregressive/Meituan/LongCat-2.0.mdx 引入配置和基准组件,提供安装指南、部署命令生成器和 Playground。
  4. 注册到文档导航:修改 docs_new/docs.json,在 autoregressive 分组下新增 Meituan 组,指向该页面。
  5. 添加概览卡片:修改 cookbook/autoregressive/intro.mdx,添加 Meituan 品牌卡片,并上传 cards/logos/meituan.png 图片。
文件 模块 状态 重要度
docs_new/src/snippets/configs/meituan-longcat/longcat-2.0.jsx 部署配置 added 7.16
docs_new/src/snippets/configs/meituan-longcat/longcat-2.0-benchmarks.jsx 基准数据 added 5.18
docs_new/cookbook/autoregressive/Meituan/LongCat-2.0.mdx 文档页面 added 5.38
docs_new/docs.json 导航配置 modified 3.37
docs_new/cookbook/autoregressive/intro.mdx 概览卡片 modified 3.01
docs_new/cards/logos/meituan.png 图标资源 added 1.77

关键源码片段

docs_new/src/snippets/configs/meituan-longcat/longcat-2.0.jsx core-logic

核心配置文件,定义了模型标识、部署组合(cells)和 Playground 功能,是 cookbook 的首要数据来源。

// LongCat-2.0 部署配置对象(部分字段)
export const config = {
  modelName: "LongCat-2.0",
  // 支持的硬件标识列表
  supportedHardware: ["b300", "b200", "h200", "h20"],
  // 模型名映射,将 variant|quant 组合映射到 HuggingFace 模型名
  modelNames: {
    "default|fp8": "meituan-longcat/LongCat-2.0-FP8",
  },
  // 占位符定义,用户需在命令面板中填写
  placeholders: {
    HOST_IP: { target: "command", label: "Bind host", default: "0.0.0.0" },
    PORT: { target: "command", label: "Bind port", default: "30000" },
  },
  // 已验证的部署组合列表
  cells: [
    {
      match: { hw: "b300", variant: "default", quant: "fp8", strategy: "balanced", nodes: "single" },
      verified: true,
      flags: [
        "--trust-remote-code",
        "--model-path {{MODEL_NAME}}",
        "--tp 8",
        "--ep 8",
        "--kv-cache-dtype bfloat16",
      ],
    },
  ],
  // Playground 功能:允许用户调整高级选项
  playgroundFeatures: {
    moe: {
      backend: {
        options: [
          { id: null, label: "Inherited" },
          { id: "deepep", label: "DeepEP", flags: ["--moe-a2a-backend deepep"] },
        ],
      },
    },
  },
};

评论区精华

MTP 与 speculative decoding 文档缺失 documentation

审核者指出 LongCat-2.0 有三阶段 MTP 模块但 cookbook 未提及 speculative decoding。

结论:审核者要求补充说明,但 PR 已合并,需在后续 PR 补齐。 · 待处理

硬件验证不足 测试

审核者要求验证给定硬件的部署配置(H200/B200/H20)。当前仅 B300 已验证。

结论:审核者要求验证,PR 已合并,等待后续验证。 · 待处理

风险与影响

配置片段中 flags 直接生成启动命令,如果 flags 有误(如 --nsa-prefill-backend fa3 在非 B300 上可能不支持)可能导致部署失败。当前仅 B300 已验证,其他硬件配置标注为 verified: false,用户可能误用。图片缺失或路径错误可能影响页面渲染。文档更新后需与模型支持同步。

对用户:提供完整的 LongCat-2.0-FP8 部署文档,降低使用门槛。对系统:无代码变更,不影响运行时。对团队:新增文档维护负担,验证更多硬件配置可能需要额外测试。

配置错误风险 缺乏硬件验证

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论