Prhub

#39572 [AMD] Align Qwen3.5 MI355X HiCache cookbook with kernel / page_first

原始 PR 作者 yichiche 合并时间 2026-09-16 11:22 文件变更 2 提交数 1 评论 0 代码增减 +3 / -3

执行摘要

Qwen3.5 MI355X HiCache 文档改回 kernel 与 page_first 后端

PR body 说明:InferenceX MI355X Qwen3.5 MXFP4 AgentX 已把 HiCache 切回 --hicache-io-backend kernel 与 --hicache-mem-layout page_first(镜像 lmsysorg/sglang-rocm:v0.5.19-rocm720-mi35x-20260915),而 cookbook 仍输出 #39358 引入的 direct / page_first_direct,会触发 InferenceX recipe-link 的 MAJOR-arg 检查失败,因此需要把 cookbook 生成器与正文对齐到真实 serving 命令。

该 PR 本身不值得精读:6 行改动、无讨论、无测试。但值得关注两点:一是 cookbook 命令生成器与真实部署命令的一致性维护机制(recipe-link MAJOR-arg 检查),二是它与 #39358 的一来一回可作为 AMD HiCache 后端选型(kernel vs direct)演进的观察线索;若后续镜像版本再次调整 flag,应同步检查这份文档。

讨论亮点

该 PR 没有任何 inline review 评论,两位审阅人 1am9trash 与 sogalin 均直接批准(LGTM),说明变更争议小、方向明确。值得留意的是:direct / page_first_direct 是 #39358 刚引入的选项,本 PR 在短期内将其回退为 kernel / page_first,两次变更都未在 review 中留下设计讨论记录,反映出 AMD 侧 HiCache 后端选型仍处于镜像演进驱动的快速调整期。

实现拆解

本次变更分为两步,核心是把 MI355X + MXFP4 + HiCache 路径的文档化部署命令从 direct / page_first_direct 回退为与 InferenceX 实际 serving 命令一致的 kernel / page_first。

  1. 更新命令生成器(docs/src/snippets/autoregressive/qwen35-deployment.jsx):在 Qwen35Deployment 组件的 quantization === 'fp4' 且 hardware === 'mi355x' 且 kvOffload === 'hicache' 分支中,把 --hicache-io-backend 从 direct 改为 kernel,--hicache-mem-layout 从 page_first_direct 改为 page_first。该文件是 cookbook 页面“复制命令”的生成源头,修改后生成的命令即与 InferenceX 镜像实际使用的参数一致。
  2. 同步 cookbook 正文(docs/cookbook/autoregressive/Qwen/Qwen3.5.mdx):把 MI355X KV-offload 说明中列出的 flag 序列相应更新为 --hicache-io-backend kernel --hicache-mem-layout page_first,保证文字说明与生成器输出一致,避免两处文档自相矛盾。
  3. 范围控制与配套:--hicache-ratio 1.5、--hicache-write-policy write_through、AttnFP8-V2 checkpoint ID 均保持不变;NVIDIA(B200 / B300)HiCache 示例不受影响。本次没有测试配套变更(PR body 声明 Accuracy Tests 为 N/A,改动只影响文档化 serving flag,不影响模型输出)。
文件 模块 状态 重要度
docs/src/snippets/autoregressive/qwen35-deployment.jsx 命令生成器 modified 4.5
docs/cookbook/autoregressive/Qwen/Qwen3.5.mdx 部署文档 modified 2.14

关键符号

Qwen35Deployment

关键源码片段

docs/src/snippets/autoregressive/qwen35-deployment.jsx configuration

cookbook 命令生成器源头,修改后所有从页面复制的 MI355X MXFP4 HiCache 命令都会输出 kernel / page_first,是本次对齐的核心文件。

// docs/src/snippets/autoregressive/qwen35-deployment.jsx
// Qwen35Deployment 命令生成器:FP4 量化分支按硬件区分 AMD / NVIDIA 后端
if (quantization === 'fp4') {
  if (hardware === 'mi355x') {
    // AMD MXFP4 on MI355X:backend / --page-size 16 与 INT4 量化 env 由上方 AMD 块输出
    if (kvOffload === 'hicache') {
      // HiCache 在设备 KV 之下加一层 host-DRAM,radix cache 必须保持开启,
      // 因为 --enable-hierarchical-cache 与 --disable-radix-cache 启动时互斥
      cmd += ' \\n  --enable-hierarchical-cache';
      cmd += ' \\n  --hicache-ratio 1.5';
      cmd += ' \\n  --hicache-write-policy write_through';
      // 与 InferenceX 实际 serving 命令对齐:kernel 后端 + page_first 布局
      cmd += ' \\n  --hicache-io-backend kernel';
      cmd += ' \\n  --hicache-mem-layout page_first';
    } else {
      // 无 host 层时直接禁用 radix cache
      cmd += ' \\n  --disable-radix-cache';
    }
    // MXFP4 场景统一使用 FP8 E4M3 的 KV cache dtype
    cmd += ' \\n  --kv-cache-dtype fp8_e4m3';
  } else {
    // NVIDIA NVFP4 on Blackwell(B200 / B300),走 flashinfer 后端参数
    cmd += ' \\n  --moe-runner-backend flashinfer_trtllm';
  }
}

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

  1. 配置方向反复:direct / page_first_direct 由 #39358 引入,本 PR 又回退到 kernel / page_first,说明 AMD 侧 HiCache 后端选型仍处波动期;若 InferenceX 镜像后续再切回 direct,cookbook 需要再次同步,否则文档又与真实命令脱节。
  2. 无自动化校验:本次没有新增测试或 CI 校验来保证 cookbook 生成命令与 InferenceX recipe 的 flag 一致性,仍依赖外部 MAJOR-arg 检查在外部链路兜底。
  3. 影响面可控:改动被 quantization === 'fp4'、hardware === 'mi355x'、kvOffload === 'hicache' 三重条件限定,NVIDIA 分支与其他 AMD 分支不受影响;--hicache-io-backend kernel / --hicache-mem-layout page_first 是既有选项,不存在新增 flag 的兼容性风险。

用户侧:从 cookbook 复制 MI355X MXFP4 HiCache 部署命令的用户会得到 kernel / page_first 组合,与 InferenceX 推荐镜像实际使用的参数一致,避免因文档命令与内置 recipe 不一致导致的检查失败。系统侧:纯文档变更,无运行时影响。团队侧:这次变更体现了 cookbook 生成器(JSX)、cookbook 正文(MDX)与 InferenceX recipe 三方的对齐链条,也暴露出文档配置在镜像版本驱动下需要持续跟随的问题。整体影响程度低。

文档与部署命令依赖外部镜像 配置方向回退 无测试配套

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论