Prhub

#37092 [AMD] Update v4 amd cookbook 0830

原始 PR 作者 1am9trash 合并时间 2026-08-30 14:55 文件变更 2 提交数 1 评论 0 代码增减 +34 / -16

执行摘要

更新 DeepSeek-V4 AMD cookbook 配置与镜像标签

PR body 明确列出三点动机:新增 TORCH_BLAS_PREFER_HIPBLASLT=1 以在 ROCm 上优先使用 hipBLASLt 的 GEMM 实现;将 tp8 的 chunked-prefill-size 从 8192 调整为 16384;把 AMD 镜像版本 bump 到 0829。这是 AMD 侧在 ROCm 7.2 上重新验证 DeepSeek-V4 后的 cookbook 刷新,目的是让用户在 MI300X / MI355X 上复现的结果与最新镜像和调参结论保持一致。PR 未关联 Issue,Speed Tests 一节标注 None。

建议快速浏览即可,无需精读。值得关注的设计信号是 AMD 团队在 ROCm 7.2 上对 DeepSeek-V4 的推荐参数组合:TORCH_BLAS_PREFER_HIPBLASLT=1 与 16384 chunked-prefill 的搭配;在 AMD 上部署的用户可先小规模验证显存峰值与吞吐后再全量采用。另注意 PR 标题写 0830 而实际镜像标签 bump 到 0829,日期命名略有不一致。

讨论亮点

该 PR 没有任何评论或 review 评论(comments_count 与 review_comments_count 均为 0),HaiShaw 以空 body 直接 APPROVED 并合并,因此没有可提炼的技术交锋。唯一值得留意的是 CI 状态:Base PR Test 通过,Extra 测试失败但仓库中未留下失败原因说明;且 AMD ROCm 7.2 的 PR job 并没有为该 commit 运行——对一个 AMD 文档 PR 而言属于轻度覆盖缺口。

实现拆解

  1. 变更入口docs/src/snippets/configs/deepseek-ai/deepseek-v4.jsx 是 DeepSeek-V4 cookbook 网站的数据源,站点上所有硬件配置单元(match / env / flags 三段式对象)都由它渲染。
  2. 环境变量统一补充:所有 AMD ROCm 单元(MI300X、MI355X)的 env 数组统一追加 TORCH_BLAS_PREFER_HIPBLASLT=1,与已有的 SGLANG_USE_ROCM700A=0、SGLANG_HACK_FLASHMLA_BACKEND=unified_kv_triton、AITER_BF16_FP8_MOE_BOUND=0 等开关共同构成 ROCm 7.2 上的推荐组合。
  3. chunked-prefill 调参:将原为 8192 的 tp8 单元(如 MI300X Flash FP8 low-latency、MI355X Pro FP4 low-latency 等)统一调整为 16384;dp8 的 balanced / high-throughput 单元维持 65536 不变,说明本次调参只针对 tp8 场景。
  4. 镜像标签同步:JSX 的 dockerImages.mi300x / mi355x 与 MDX 文档中的 docker pull / run 示例同步更新为 20260829,保证网站渲染与正文一致。
  5. 配套改动:无测试、无 schema、无部署配套;各单元的 verified 字段未随本次变更调整,即新调参结论尚未被标记为“已完整验证”。
文件 模块 状态 重要度
docs/src/snippets/configs/deepseek-ai/deepseek-v4.jsx 文档配置 modified 5.42
docs/cookbook/autoregressive/DeepSeek/DeepSeek-V4.mdx 使用文档 modified 2.52

关键源码片段

docs/src/snippets/configs/deepseek-ai/deepseek-v4.jsx configuration

DeepSeek-V4 cookbook 网站的数据源文件,本次所有核心配置变更(env 追加、chunk 调整、镜像标签)都发生在这里,是 PR 的主体。

// DeepSeek-V4 AMD cookbook 数据源(deepseek-v4.jsx)
// 本片段展示 MI355X Pro FP4 低延迟单元,覆盖本次三项核心变更:
// 1) env 新增 TORCH_BLAS_PREFER_HIPBLASLT=1,让 torch 侧 GEMM 优先走 hipBLASLt;
// 2) --chunked-prefill-size 由 8192 提升至 16384,减少 prefill 分块与调度开销;
// 3) AMD 每日镜像日期标签统一 bump 至 20260829。{
  match: { hw: "mi355x", variant: "pro-official", quant: "fp4", strategy: "low-latency", nodes: "single" },
  verified: false,
  // 与 SGLANG_HACK_FLASHMLA_BACKEND=unified_kv_triton、AITER 相关开关配合,
  // 该 env 组合是 ROCm 7.2 上本次重新验证后的推荐配置。
  env: [
    "SGLANG_USE_ROCM700A=0",
    "TORCH_BLAS_PREFER_HIPBLASLT=1",
    "SGLANG_HACK_FLASHMLA_BACKEND=unified_kv_triton",
    "AITER_BF16_FP8_MOE_BOUND=0",
    "SGLANG_OPT_USE_AITER_BATCHED_GEMM=true",
  ],
  flags: [
    "--trust-remote-code",
    "--model-path {{MODEL_NAME}}",
    "--tp 8",
    "--attention-backend dsv4",
    "--page-size 256",
    "--mem-fraction-static 0.90",
    "--swa-full-tokens-ratio 0.15",
    "--enforce-shared-experts-fusion",
    "--kv-cache-dtype fp8_e4m3",
    // tp8 档位统一从 8192 提到 16384;dp8 的 balanced / high-throughput 单元保持 65536。
    "--chunked-prefill-size 16384",
    "--host {{HOST_IP}}",
    "--port {{PORT}}",
  ],
}// dockerImages 中 AMD 每日镜像标签同步 0828 -> 0829
// 该日期标签与 MDX 文档中的 docker pull / run 示例保持一致。
dockerImages: {
  mi300x: "lmsysorg/sglang-rocm:v0.5.18-rocm720-mi30x-20260829",
  mi355x: "lmsysorg/sglang-rocm:v0.5.18-rocm720-mi35x-20260829",
}

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

  1. chunked-prefill-size 从 8192 增至 16384 会提高单次 prefill 的中间激活显存峰值,实际影响取决于序列长度与 batch;PR 未附 speed / memory benchmark(Speed Tests 一节标 None),用户在大 batch 场景下需自行验证。
  2. 镜像日期标签 20260829 依赖 Docker Hub 上该标签真实发布且可用;文档直接引导用户 pull,若镜像尚未同步,用户会立即拉取失败。
  3. JSX 与 MDX 两处镜像标签需要同步维护,存在漏改一处导致文档不一致的长期维护成本。
  4. AMD ROCm 7.2 CI job 未覆盖该提交,调参结论缺少自动化验证,依赖作者人工在本地 AMD 环境确认。

影响范围集中在 DeepSeek-V4 cookbook 的 AMD 章节:使用该 cookbook 在 MI300X / MI355X 上部署的用户会直接按新参数(hipBLASLt 倾向、16384 chunk、0829 镜像)执行复现命令,显存峰值与吞吐表现可能发生变化。对系统与团队无运行时影响,文档维护成本低,但存在 JSX 与 MDX 双处维护的不一致风险。与仓库近期核心开发(Unified Memory、HiCache、PD 协议等)完全解耦。

纯文档变更无运行时覆盖 tp8 chunk 增大或抬升显存峰值 镜像标签依赖发布时序 AMD ROCm 7.2 CI job 未覆盖 Extra CI 失败未记录原因

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论