Prhub

#36286 docs(cookbook): add IBM Granite 4.2 cookbook

原始 PR 作者 JustinTong0323 合并时间 2026-08-25 22:54 文件变更 6 提交数 4 评论 1 代码增减 +545 / -0

执行摘要

新增 IBM Granite 4.2 cookbook 文档与基准配置

PR body 说明添加 IBM vendor logo 资产用于 cookbook 自回归着陆网格,并提供 Granite 4.2 的部署验证。目标是让用户能通过文档页面获得生成启动命令和基准数据的入口。

值得快速翻阅,作为新增 cookbook 的示例,了解配置脚本与基准数据的组织方式。无需深入阅读。

讨论亮点

该 PR 只有一条 review 评论(zijiexia 的 Approve),无实质性技术讨论。作者在 issue 评论中触发 /tag-and-rerun-ci 重跑 CI,说明关注 CI 通过。最终 PR 由作者自行合并。

实现拆解

  1. 新增 docs/cards/logos/ibm.png:供应商 logo,强制添加以绕过 gitignore。
  2. 新增 docs/src/snippets/configs/ibm-granite/granite-4.2.jsx:定义 Deployment 组件所需的模型配置,包括 variants、量化、模型名、推理参数、playground 功能等。
  3. 新增 docs/src/snippets/configs/ibm-granite/granite-4.2-benchmarks.jsx:提供 H200/B200 上的性能数据,支撑 Deployment 的基准展示。
  4. 新增 docs/cookbook/autoregressive/IBM/Granite-4.2.mdx:页面主体,介绍部署步骤、模型背景和验证矩阵。
  5. 修改 docs/docs.json:在导航分组中添加 IBM 组及页面。
  6. 修改 docs/cookbook/autoregressive/intro.mdx:在厂商卡片网格中添加 IBM 卡片,链接到新页面。
文件 模块 状态 重要度
docs/src/snippets/configs/ibm-granite/granite-4.2.jsx 配置脚本 added 6.89
docs/src/snippets/configs/ibm-granite/granite-4.2-benchmarks.jsx 基准数据 added 6.38
docs/cookbook/autoregressive/IBM/Granite-4.2.mdx 文档页面 added 5.03
docs/docs.json 导航配置 modified 2.97
docs/cookbook/autoregressive/intro.mdx 入口页面 modified 2.61
docs/cards/logos/ibm.png 图片资产 added 1.77

关键源码片段

docs/src/snippets/configs/ibm-granite/granite-4.2.jsx core-logic

该文件定义 Deployment 组件所需的完整配置,决定启动命令与 Playground 选项。

// 该文件导出 Deployment 组件所需的模型配置。
// variants 定义模型变体,modelNames 映射到实际 Hugging Face 仓库。
export const config = {
  modelName: "Granite 4.2",
  supportedHardware: ["h200", "b200"],
  variants: [
    { id: "3b", label: "3B", subtitle: "Dense" },
    { id: "8b", label: "8B", subtitle: "Dense" },
    { id: "30b", label: "30B", subtitle: "Dense" },
  ],
  quantizations: [{ id: "bf16", label: "BF16" }],
  modelNames: {
    "3b|bf16": "ibm-granite/granite-4.2-3b",
    "8b|bf16": "ibm-granite/granite-4.2-8b",
    "30b|bf16": "ibm-granite/granite-4.2-30b",
  },
  // cells 定义了在特定硬件和模型组合下验证过的启动命令。
  cells: [
    {
      match: { hw: "h200", variant: "3b", quant: "bf16", strategy: "balanced", nodes: "single" },
      verified: true,
      flags: [
        "--model-path {{MODEL_NAME}}",
        "--tp 1",
        "--mem-fraction-static 0.8",
        // Granite 4.2 通过 nemotron_3 推理解析器支持思考模式
        "--reasoning-parser nemotron_3",
        "--tool-call-parser qwen3_coder",
        "--host {{HOST_IP}}",
        "--port {{PORT}}",
      ],
    },
    // 其他变体类似,此处省略。
  ],
};
docs/src/snippets/configs/ibm-granite/granite-4.2-benchmarks.jsx core-logic

提供 Granite 4.2 在 H200/B200 上的性能数据,支撑 Deployment 组件的基准展示。

// 基准数据按硬件与模型变体组织。
// 每项包含在指定 workload 下的首 token 时延、每 token 时延和吞吐。
export const benchmarks = [
  {
    match: { hw: "h200", variant: "3b", quant: "bf16", strategy: "balanced", nodes: "single" },
    sglang_version: "d59c1ddf7",
    speed: [
      {
        workload: { dataset: "random", isl: 8192, osl: 1024, max_concurrency: 1 },
        ttft_ms: 131.17,
        tpot_ms: 3.51,
        tokens_per_sec_per_gpu: 2472.96,
      },
      {
        workload: { dataset: "random", isl: 8192, osl: 1024, max_concurrency: 16 },
        ttft_ms: 1092.54,
        tpot_ms: 7.23,
        tokens_per_sec_per_gpu: 17416.41,
      },
    ],
  },
  // 其他硬件与变体组合类似,此处省略。
];

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

主要风险在于:

  1. 新增的部署命令和基准数据基于特定 commit(d59c1ddf7d10a656ad8),后续 SGLang 版本变化可能导致命令失效;
  2. 强制添加的 logo 可能与其他 logo 尺寸不一致;
  3. 内部链接通过 mint 验证,但若未来重构目录可能失效。整体风险低。

对用户:为寻求 Granite 4.2 部署指导的用户提供官方文档。对系统:无运行时影响。对团队:新增一个模型 cookbook 示例,为后续模型文档提供模板。

文档链接依赖 基准数据时效性 logo 资产约束

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论