Prhub

#39702 [AMD] Update deepseek-v4 PDI and cache policy setting for agentic workload

原始 PR 作者 1am9trash 合并时间 2026-09-16 12:16 文件变更 2 提交数 1 评论 0 代码增减 +13 / -14

执行摘要

更新 AMD DSV4 配置:镜像 0914、PDI 20、cache-aware 路由

PR body 明确写到「Align with SA submission」并链接 SemiAnalysisAI/InferenceX#3120,三项改动分别是 Bump image 到 0914 版本、Set PDI 到 20、Turn cache policy 到 cache-aware。其动机是让 SGLang 的 DeepSeek-V4 部署指引与外部 SA 提交保持对齐:针对 MI355X 上长上下文 agentic 负载,将推荐调度参数从 PDI 10 调整为 20,并用 cache-aware 路由让多轮会话命中持有最长 radix/HiCache 前缀的 rank。仓库内无关联 Issue。

不需要精读,仅作为 DeepSeek-V4 部署配置演进的参考。值得留意的是:参数类文档变更若缺少基准数据,建议跟进一个附带 latency/throughput 验证的 PR;同时关注 0914 镜像与 cache_aware 策略在真实 MI355X 上的可用性。

讨论亮点

本 PR 没有任何 review 评论或讨论线程,两位审核人 yichiche 与 HaiShaw 均直接 APPROVE(yichiche 仅回复「LGTM.」)。因此不存在技术争议或未解决疑虑,属于低摩擦的文档对齐型变更。

实现拆解

整个变更只涉及两个文档站点文件,分三步完成:

  1. 部署面板配置片段更新(docs/src/snippets/configs/deepseek-ai/deepseek-v4.jsx):dockerImages 中 AMD 两行的镜像标签从 v0.5.19-rocm720-mi30x/mi35x-20260911 升到 20260914;随后把 MI355X + FP4 Pro Official 三个策略单元(low-latency、balanced、high-throughput)的 --prefill-decode-interval 从 10 统一改为 20。该文件是 Playground 部署面板渲染启动命令的配置数据源,改动会直接影响面板生成的启动参数。

  2. cookbook 文档同步(docs/cookbook/autoregressive/DeepSeek/DeepSeek-V4.mdx):同步更新两处镜像标签和 docker pull 示例;把 §3.7 agentic recipe 中两处 --prefill-decode-interval 从 10 改为 20;删除了旧的「Agentic long-context (MI355X Pro Official FP4)」段落中关于 PDI 10 和 --enable-prefill-delayer 的说明;在 §3.7 结尾新增建议:用 sglang_router --policy cache_aware 让多轮会话落在持有最长 radix/HiCache 前缀的 rank 上,并发超过 160 时追加 --balance-abs-threshold 32;§3.8 PD 场景的镜像标签同步更新。

  3. 无测试与代码配套:本次改动没有 Python/Rust 源码变更,也没有新增测试;PR 语境下配置有效性依赖 CI 中已有的文档构建检查。

文件 模块 状态 重要度
docs/src/snippets/configs/deepseek-ai/deepseek-v4.jsx 配置片段 modified 5.34
docs/cookbook/autoregressive/DeepSeek/DeepSeek-V4.mdx 部署文档 modified 3.17

关键源码片段

docs/src/snippets/configs/deepseek-ai/deepseek-v4.jsx configuration

部署面板的配置数据源:AMD 镜像标签升到 0914,MI355X FP4 三档策略的 --prefill-decode-interval 统一从 10 调到 20,是本 PR 的核心配置载体。

  // AMD daily-updated lmsysorg/sglang-rocm images.
  // Bump the dated tag when you re-verify on a newer build.
  // 本次从 20260911 升到 20260914,与 SA 侧的镜像验证结果对齐。
  dockerImages: {
    mi300x: "lmsysorg/sglang-rocm:v0.5.19-rocm720-mi30x-20260914",
    mi355x: "lmsysorg/sglang-rocm:v0.5.19-rocm720-mi35x-20260914",
  },
​
  // MI355X + FP4 — Pro Official (0813),low-latency 单元。
  // PDI(--prefill-decode-interval)从 10 调至 20:降低 prefill 与 decode
  // 批次交替频率,适配长上下文 agentic 负载的调度稳定性诉求。
  // balanced / high-throughput 两个单元也做了同样调整。
  {
    match: { hw: "mi355x", variant: "pro-official", quant: "fp4", strategy: "low-latency", nodes: "single" },
    verified: false,
    env: ["SGLANG_USE_ROCM700A=0", "TORCH_BLAS_PREFER_HIPBLASLT=1",
          "SGLANG_HACK_FLASHMLA_BACKEND=unified_kv_triton",
          "AITER_BF16_FP8_MOE_BOUND=0", "SGLANG_OPT_USE_AITER_BATCHED_GEMM=true"],
    flags: [
      "--trust-remote-code",
      "--model-path {{MODEL_NAME}}",
      "--tp 8",
      "--prefill-decode-interval 20",
      "--attention-backend dsv4",
      "--enable-deepseek-v4-fp4-indexer",
      "--page-size 256",
      "--mem-fraction-static 0.90",
      "--swa-full-tokens-ratio 0.15",
      "--enforce-shared-experts-fusion",
      "--kv-cache-dtype fp8_e4m3",
      "--chunked-prefill-size 16384",
      "--speculative-algorithm DSPARK",
      "--host {{HOST_IP}}",
      "--port {{PORT}}",
    ],
  },

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

主要风险集中在配置值与实际部署效果的联动上:

  • PDI(--prefill-decode-interval)从 10 调到 20 会改变 scheduler 的 prefill/decode 批次交替频率,影响调度稳定性与首 token 延迟,而 PR 未提供任何 speed/accuracy benchmark(body 中 Speed Tests 和 Accuracy Tests 均标注 None);该参数原先是 0813 版本验证过的稳定性配置,调整后缺少实测背书。
  • 镜像标签 20260914 属于 daily 构建,若该日构建被下架或内容变化,文档中的固定标签会失效;且 PR 未说明 0914 相对 0911 的具体修复内容。
  • cache-aware 路由建议依赖 sglang_router 的对应策略实现可用,若用户使用的 router 版本不支持该策略,按文档部署会失败;另外删除 --enable-prefill-delayer 说明后,长 prefill 独占引擎的旧防护措施在文档中不再被提及,相关用户可能丢失这一信息。

影响范围限定在文档与配置层面:阅读 DeepSeek-V4 cookbook 的 AMD 用户会按新镜像标签和 PDI 20 部署,Playground 部署面板为 MI355X 生成的启动命令也会带上新参数;使用 cache-aware 路由的 agentic 多轮会话用户可望获得更好的前缀命中。对系统代码零影响,不涉及 Python/Rust 运行时逻辑。团队侧影响很小,属于低风险文档维护。

配置参数变更缺基准验证 依赖外部镜像标签可用性 文档与部署面板联动

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论