Prhub

#35445 [AMD] cookbook: serve Qwen3.5 MXFP4 on MI355X with an fp8_e4m3 KV cache

原始 PR 作者 yichiche 合并时间 2026-08-19 18:49 文件变更 1 提交数 1 评论 0 代码增减 +1 / -0

执行摘要

为 MI355X MXFP4 配方补上 fp8 KV 缓存参数

Qwen3.5 cookbook 中 MI355X 的 MXFP4 配方是基于 FP8 KV 缓存(--kv-cache-dtype fp8_e4m3)进行基准测试的,但生成的部署命令并未包含该参数,导致照抄命令的用户得到与公开性能数据不同的配置。B200 NVFP4 配方已经输出该参数,本 PR 让 AMD FP4 配方保持一致。

该 PR 为低风险的文档修正,值得快速合入。可留意 cookbook 中其他硬件/量化组合(如 H200、MI300X 等)是否也存在命令与基准配置不一致的情况,以便一并修正。

讨论亮点

PR 无 review 评论和讨论线程,两位 reviewer 直接批准通过。

实现拆解

实现拆解

  1. 定位生成逻辑
    docs/src/snippets/autoregressive/qwen35-deployment.jsxQwen35Deployment 组件中,找到 FP4 配方的后端参数生成分支。

  2. 修改 MI355X 分支
    mi355x 分支中,紧接 --disable-radix-cache 之后新增一行 cmd += ' \ --kv-cache-dtype fp8_e4m3';,仅当硬件为 mi355x 且量化方式为 fp4 时添加该参数。

  3. 保持其他分支不变
    B200/B300 的 NVFP4 分支原本就有该参数,本次未修改;其他硬件和量化组合也不受影响。

  4. 配套测试
    纯文档字符串生成逻辑改动,无新增测试文件;CI 已通过(PR Test 通过,Extra 失败但未给出具体原因)。

文件 模块 状态 重要度
docs/src/snippets/autoregressive/qwen35-deployment.jsx 文档片段 modified 3.78

关键源码片段

docs/src/snippets/autoregressive/qwen35-deployment.jsx core-logic

这是本 PR 唯一修改的文件,新增 `--kv-cache-dtype fp8_e4m3` 到 MI355X MXFP4 分支,使文档命令与基准配置对齐。

// FP4-specific backend settings
if (quantization === 'fp4') {
  if (hardware === 'mi355x') {
    // AMD MXFP4 on MI355X: backend / --page-size 16 以及 INT8 量化的 ROCm quick all-reduce 环境变量
    // 已由上面的 AMD backend 块输出(该配方使用 quick all-reduce 而非 AITER allreduce fusion)。
    // 在此处添加 FP4 专用参数:
    cmd += ' \\n  --disable-radix-cache';
    cmd += ' \\n  --kv-cache-dtype fp8_e4m3'; // 新增:与基准测试配置保持一致
    // 在开启 MTP 且 tp=2 时限制并发数,避免 OOM。
    if (speculative === 'enabled') {
      cmd += ' \\n  --max-running-requests 128';
    }
  } else {
    // NVIDIA NVFP4 on Blackwell (B200 / B300),此分支原本已包含 kv-cache-dtype fp8_e4m3
    ...
  }
}

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

该 PR 仅修改文档片段生成的命令字符串,不涉及运行时代码,风险极低。唯一潜在影响是用户照抄生成的命令后,可能因为增加了 --kv-cache-dtype fp8_e4m3 而改变 KV 缓存精度(从默认的 fp16 变为 fp8),但这正是文档所声明的基准配置,且文档上方已有警告说明 FP8 KV 缓存的精度取舍,因此属于预期行为。

影响范围:仅影响 docs/src/snippets/autoregressive/qwen35-deployment.jsx 生成的 Qwen3.5 部署命令字符串。
对用户:阅读 cookbook 并复制 MI355X MXFP4 命令的用户将获得与基准数据一致的配置。
对系统:无运行时影响。
对团队:文档与实测配置对齐,减少误解。

文档与基准配置对齐

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论