Prhub

#28201 [Docs] Add fp8 kv cache for tokenspeed mla docs

原始 PR 作者 mmangkad 合并时间 2026-06-18 12:42 文件变更 3 提交数 1 评论 1 代码增减 +13 / -7

执行摘要

更新 Kimi 部署文档,tokenspeed MLA 时必须设置 fp8 KV cache

PR body 指出 Kimi cookbook 中的 tokenspeed_mla 命令缺少 --kv-cache-dtype fp8_e4m3,导致后端在使用默认 auto dtypes 时失败。参考 server_args.py 第 3090-3094 行的校验逻辑,明确 tokenspeed MLA 需要 fp8_e4m3 dtype。

简单直接的文档修复,逻辑清晰。建议后续在文档相关变更中同样关注代码片段与实际后端参数规则的同步。

讨论亮点

无实质性 review 讨论。gemini-code-assist[bot] 自动生成了代码变更摘要,无反馈;两名审核人(kpham-sgl、zijiexia)直接批准。

实现拆解

  1. 提取共用条件:在三份 JSX 文件(kimi-k25-deployment.jsxkimi-k26-deployment.jsxkimi-k27-code-deployment.jsx)的生成命令函数中,将 hardware === 'b300' || hardware === 'gb300' 抽取为局部变量 usesTokenspeedMla
  2. 调整条件分支:将 --kv-cache-dtype fp8_e4m3 的触发条件从 isAMD 扩展为 isAMD || usesTokenspeedMla,确保 Blackwell 硬件也添加此参数。
  3. 保留原有逻辑:AMD 平台的 --kv-cache-dtype 行为不变;usesTokenspeedMla 变量仅在 Blackwell 硬件下为 true,不影响其他硬件。
文件 模块 状态 重要度
docs_new/src/snippets/autoregressive/kimi-k25-deployment.jsx 文档片段 modified 5.27
docs_new/src/snippets/autoregressive/kimi-k26-deployment.jsx 文档片段 modified 4.79
docs_new/src/snippets/autoregressive/kimi-k27-code-deployment.jsx 文档片段 modified 4.79

关键源码片段

docs_new/src/snippets/autoregressive/kimi-k25-deployment.jsx core-logic

Kimi K2.5 部署代码片段,引入 usesTokenspeedMla 变量并扩展 FP8 KV cache 条件。

// kimi-k25-deployment.jsx — 构建 sglang serve 命令的片段
// 提取 Blackwell 硬件检测,确保 tokenspeed_mla 后端必须配合 fp8 KV cache 使用
const usesTokenspeedMla = hardware === 'b300' || hardware === 'gb300';// Blackwell (B300/GB300): tokenspeed MLA attention backend
if (usesTokenspeedMla) {
  cmd += ' \\
  --attention-backend tokenspeed_mla';
}// FP8 KV cache for AMD memory efficiency and tokenspeed MLA compatibility
// 原条件仅为 isAMD,现在覆盖所有需要 tokenspeed_mla 的场景
if (isAMD || usesTokenspeedMla) {
  cmd += ' \\
  --kv-cache-dtype fp8_e4m3';
}

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

变更范围较小,仅涉及三个文档代码片段中的条件逻辑,不修改任何运行时后端代码。若 usesTokenspeedMla 变量名被误读或在其他 JSX 文件中遗漏同步,可能导致 Blackwell 部署脚本缺失 FP8 KV cache 参数,但当前三个文件已全部更新,风险低。

直接影响 Kimi K2.5/K2.6/K2.7 Code 在 Blackwell 硬件(B300/GB300)上的文档部署命令,确保用户按文档操作时能正确设置 KV cache dtype,避免启动失败。对 AMD 用户无影响。

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论