Prhub

#28590 [Docs] DeepSeek-V4 cookbook: drop --disable-flashinfer-autotune from GB300 Flash low-latency

原始 PR 作者 zijiexia 合并时间 2026-06-18 15:05 文件变更 2 提交数 1 评论 2 代码增减 +7 / -1

执行摘要

移除 GB300 Flash 低延迟配置中多余的 autotune 参数

根据 PR 描述,移除 --disable-flashinfer-autotune 是因为在 v0.5.13.post1 上该参数不再需要(flashinfer autotune 已默认优化或不再干扰低延迟场景)。同时补全了之前留空的 benchmark 数据,为用户提供准确的性能参考。

简单直接的文档修正,无需特别关注。如果团队依赖该文档进行部署,建议同步更新其他相关文档避免参数不一致。

讨论亮点

无 review 讨论。reviewer wisclmy0611 直接批准了 PR,没有评论。

实现拆解

  1. 在 benchmark 数据文件中填入实测结果
    - 文件 deeasek-v4-benchmarks.jsx:为 { hw: "gb300", variant: "flash", quant: "fp4", strategy: "low-latency", nodes: "single" } 配置项添加 sglang_version: "0.5.13.post1" 和两个 workload 的 speed 数据(concurrency=1 和 16),包括 TTFT、TPOT 和 tokens/sec/GPU。

  2. 删除不再需要的服务启动参数
    - 文件 deepseek-v4.jsx:在 GB300 Flash 低延迟服务的启动 flags 数组中删除 --disable-flashinfer-autotune 这一行,使命令更简洁准确。

文件 模块 状态 重要度
docs_new/src/snippets/configs/deepseek-ai/deepseek-v4-benchmarks.jsx 文档片段 modified 5.39
docs_new/src/snippets/configs/deepseek-ai/deepseek-v4.jsx 文档片段 modified 4.3

关键源码片段

docs_new/src/snippets/configs/deepseek-ai/deepseek-v4-benchmarks.jsx core-logic

为之前为空的 GB300 Flash 低延迟 benchmark 单元格补充了 v0.5.13.post1 的实际性能数据,包括 TTFT、TPOT 和 tokens/sec/GPU。

// ====================================================================
// GB300 + FP4
// ====================================================================
{
  match: { hw: "gb300", variant: "flash", quant: "fp4", strategy: "low-latency", nodes: "single" },
  sglang_version: "0.5.13.post1", // 新增:标记此数据使用的 sglang 版本
  speed: [ // 新增:填充之前为空的 benchmark 数据
    { workload: { dataset: "random", isl: 8192, osl: 1024, max_concurrency: 1 },
      ttft_ms: 463, tpot_ms: 4.19, tokens_per_sec_per_gpu: 35 },
    { workload: { dataset: "random", isl: 8192, osl: 1024, max_concurrency: 16 },
      ttft_ms: 436, tpot_ms: 8.93, tokens_per_sec_per_gpu: 336 },
  ],
},
docs_new/src/snippets/configs/deepseek-ai/deepseek-v4.jsx core-logic

删除 GB300 Flash 低延迟服务启动命令中不再需要的 --disable-flashinfer-autotune 参数,确保文档中的命令准确可用。

// GB300 Flash 低延迟配置的启动 flags 数组(已删除 --disable-flashinfer-autotune)
flags: [
  "--trust-remote-code",
  "--model-path {{MODEL_NAME}}",
  "--tp 4",
  "--moe-runner-backend flashinfer_mxfp4",
  "--speculative-algorithm EAGLE",
  "--speculative-num-steps 3",
  "--speculative-eagle-topk 1",
  "--speculative-num-draft-tokens 4",
  "--chunked-prefill-size 4096",
  // 删除了 "--disable-flashinfer-autotune" 这一项
  "--swa-full-tokens-ratio 0.1",
  "--host {{HOST_IP}}",
  "--port {{PORT}}",
],

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

无技术风险。变更仅涉及文档模板中的示例命令和 benchmark 数据填充,不会影响任何运行时逻辑或系统行为。

仅影响 DeepSeek-V4 cookbook 文档的 GB300 Flash 低延迟配置段落。用户查看文档时将看到正确的不带 autotune 参数的命令和完整的性能数据。无其他影响。

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论