执行摘要
新增 Inkling 模型部署文档
为用户提供 Inkling 模型的官方部署指南，降低部署门槛，并确保配置与 SGLang 平台的兼容性。
作为标准 cookbook 添加，无特殊设计决策。可快速合并，未来需要补充基准测试数据和验证更多硬件平台。
讨论亮点
无实质 review 讨论，仅由维护者直接批准合并。
#31360 Add Inkling cookbook
实现拆解
- 创建模型配置片段（
inkling.jsx）：定义 Inkling 模型支持的硬件、变体、量化、策略以及对应的 Docker 镜像和模型名称，作为Deployment组件的输入。 - 添加基准测试数据（
inkling-benchmarks.jsx）：列出各硬件+配置组合的基准测试条目，暂缺实测性能数据，预留填充字段。 - 编写 cookbook 页面（
Inkling.mdx）：使用预设的Deployment组件和配置片段，生成交互式命令面板，并提供手动安装、Docker 启动等补充说明。 - 更新导航配置（
docs.json）：在“自回归模型”菜单中新增 “Thinking Machines” 分组，指向 Inkling 页面。 - 更新首页卡片（
intro.mdx）：在模型列表中添加 Thinking Machines 卡片，链接到 Inkling cookbook。 - 添加品牌徽标（
thinkingmachines.png）：卡片所需的图片资源。
| 文件 | 模块 | 状态 | 重要度 |
|---|---|---|---|
docs_new/src/snippets/configs/thinkingmachines/inkling.jsx |
代码片段 | added | 7.82 |
docs_new/cookbook/autoregressive/ThinkingMachines/Inkling.mdx |
Cookbook | added | 6.04 |
docs_new/src/snippets/configs/thinkingmachines/inkling-benchmarks.jsx |
代码片段 | added | 6.35 |
docs_new/docs.json |
配置 | modified | 3.61 |
docs_new/cookbook/autoregressive/intro.mdx |
Cookbook | modified | 3.01 |
docs_new/cards/logos/thinkingmachines.png |
资源 | added | 2.28 |
docs_new/src/snippets/configs/thinkingmachines/inkling-benchmarks.jsx
core-logic
基准测试数据定义，列出了所有硬件 / 配置组合的匹配条目。
// 每个条目对应一个单元格的 `match` 元组。准确度来自 config.defaultAccuracy
//（模型级别，在推理努力度最大时测量）。速度待定 — 一旦在每个单元格上运行了 bench_serving，
// 就填入 tokens_per_sec_per_gpu / ttft_ms / tpot_ms，
// 并将每个条目的 `sglang_version` 设置为可复现的锚点（发布版本 / commit / PR）。
export const benchmarks = [
{ match: { hw: "b200" , variant: "default" , quant: "nvfp4" , strategy: "balanced" , nodes: "single" } },
{ match: { hw: "b300" , variant: "default" , quant: "nvfp4" , strategy: "balanced" , nodes: "single" } },
{ match: { hw: "gb200" , variant: "default" , quant: "nvfp4" , strategy: "balanced" , nodes: "single" } },
{ match: { hw: "gb300" , variant: "default" , quant: "nvfp4" , strategy: "balanced" , nodes: "single" } },
{ match: { hw: "h200" , variant: "default" , quant: "nvfp4" , strategy: "balanced" , nodes: "single" } },
{ match: { hw: "mi350x" , variant: "default" , quant: "bf16" , strategy: "balanced" , nodes: "single" } },
{ match: { hw: "mi355x" , variant: "default" , quant: "bf16" , strategy: "balanced" , nodes: "single" } },
{ match: { hw: "b200" , variant: "default" , quant: "nvfp4" , strategy: "mtp" , nodes: "single" } },
{ match: { hw: "b300" , variant: "default" , quant: "nvfp4" , strategy: "mtp" , nodes: "single" } },
{ match: { hw: "gb200" , variant: "default" , quant: "nvfp4" , strategy: "mtp" , nodes: "single" } },
{ match: { hw: "gb300" , variant: "default" , quant: "nvfp4" , strategy: "mtp" , nodes: "single" } },
{ match: { hw: "h200" , variant: "default" , quant: "nvfp4" , strategy: "mtp" , nodes: "single" } },
{ match: { hw: "b200" , variant: "default" , quant: "nvfp4" , strategy: "long_context" , nodes: "single" } },
{ match: { hw: "b300" , variant: "default" , quant: "nvfp4" , strategy: "long_context" , nodes: "single" } },
{ match: { hw: "gb200" , variant: "default" , quant: "nvfp4" , strategy: "long_context" , nodes: "single" } },
{ match: { hw: "gb300" , variant: "default" , quant: "nvfp4" , strategy: "long_context" , nodes: "single" } },
{ match: { hw: "gb300" , variant: "default" , quant: "bf16" , strategy: "balanced" , nodes: "multi-2" } },
{ match: { hw: "gb300" , variant: "default" , quant: "bf16" , strategy: "mtp" , nodes: "multi-2" } },
{ match: { hw: "b300" , variant: "default" , quant: "bf16" , strategy: "balanced" , nodes: "single" } },
{ match: { hw: "b300" , variant: "default" , quant: "bf16" , strategy: "mtp" , nodes: "single" } },
{ match: { hw: "b200" , variant: "default" , quant: "bf16" , strategy: "balanced" , nodes: "multi-2" } },
{ match: { hw: "b200" , variant: "default" , quant: "bf16" , strategy: "mtp" , nodes: "multi-2" } },
{ match: { hw: "b200" , variant: "lora" , quant: "nvfp4" , strategy: "balanced" , nodes: "single" } },
{ match: { hw: "b300" , variant: "lora" , quant: "nvfp4" , strategy: "balanced" , nodes: "single" } },
{ match: { hw: "gb200" , variant: "lora" , quant: "nvfp4" , strategy: "balanced" , nodes: "single" } },
{ match: { hw: "gb300" , variant: "lora" , quant: "nvfp4" , strategy: "balanced" , nodes: "single" } },
{ match: { hw: "h200" , variant: "lora" , quant: "nvfp4" , strategy: "balanced" , nodes: "single" } },
{ match: { hw: "gb300" , variant: "lora" , quant: "bf16" , strategy: "balanced" , nodes: "multi-2" } },
{ match: { hw: "h200" , variant: "lora" , quant: "bf16" , strategy: "balanced" , nodes: "single" } },
];
评论区精华
没有提炼出高价值讨论线程
当前评论区没有形成足够清晰的争议点或结论，后续有更多讨论时会体现在这里。
风险与影响
纯文档变更，无代码执行路径改动。唯一潜在风险是配置片段中的命令或镜像标签可能随版本过期，但文档已注明未经验证的平台和待填充的性能数据。
对用户：提供 Inkling 模型的一站式部署指南，降低使用门槛。对系统：无影响。对团队：为后续添加更多模型 cookbook 提供了模板。影响范围局限在文档站点。
仅文档变更
关联 Issue
未识别关联 Issue
当前没有检测到明确关联的 Issue 链接，后续同步到相关引用后会出现在这里。
参与讨论