Prhub

#34476 [AMD][DI][CI] Add GLM-5.2 MXFP4 wide-EP16 2P1D nightly recipes

原始 PR 作者 Lzy17 合并时间 2026-08-12 18:53 文件变更 3 提交数 1 评论 0 代码增减 +204 / -0

执行摘要

新增 GLM-5.2 MXFP4 wide-EP16 2P1D 夜间测试配方

扩展 GLM-5.2 MXFP4 在 AMD 平台的测试覆盖,参考 DSV4-Pro / Kimi Oren 的 wide-EP 配置经验,验证 wide-EP16 在 decode 阶段的收益,并补充 MTP(NextN)场景下的准确性与性能数据。PR body 中明确提到这是对 #32120 中 1P1D GLM-5.2 recipes 的扩展。

值得快速浏览,作为了解 SGLang 在 AMD 上 wide-EP 和 MTP 配置的参考。重点关注 wide_ep 参数、MoRI 环境变量和 MTP 配置块。注意检查模型路径一致性。

讨论亮点

该 PR 无 review 评论,HaiShaw 直接批准(APPROVED)。PR body 中说明了配置与 Kimi EP16 配方的差异:DSA attention 自动选择、GLM 解析器、禁用共享专家融合。

实现拆解

  1. 新增配方文件:在 scripts/ci/slurm/recipes/mi355x-fp4/glm52/1k1k/ 下创建 2p1d-ep16.yaml(82 行)和 2p1d-ep16-mtp.yaml(90 行)。两个文件均定义 2 prefill workers + 1 decode worker 的 4 节点拓扑,prefill 使用 TP8/EP8/DP8,decode 使用 TP16/EP16/DP16。
  2. 核心配置项:runtime 部分设置 moe_a2a_backend: morikv_transfer_backend: mori,并配置 wide_ep 块(kv_cache_dtype: fp8_e4m3、prefill/decode 的 mem_fraction_static 等)。模型相关参数包括 --reasoning-parser glm45--tool-call-parser glm45--disable-shared-experts-fusion,并显式声明 DSA attention 自动选择(无需 --attention-backend)。
  3. MTP 扩展:MTP 版本额外启用 mtp 块(num_steps: 3eagle_topk: 1num_draft_tokens: 4),用于验证内置 NextN 头的推测解码场景。
  4. 注册夜间任务:在 scripts/ci/slurm/nightly-configs.yaml 末尾追加 glm52-fp4-mi355x-ep16-sglangglm52-fp4-mi355x-ep16-mtp-sglang 两个配置块,指定模型路径、运行器、多节点与 disagg 标志、seq-len 配置(ISL/OSL 均为 1024)以及并发列表。
  5. 测试配套:无源码或单元测试变更,仅依赖夜间 CI 的 GSM8K few-shot 准确率门禁(1319 题,阈值 0.91)。实测基础版 0.949、MTP 版 0.947,均超过阈值。
文件 模块 状态 重要度
scripts/ci/slurm/recipes/mi355x-fp4/glm52/1k1k/2p1d-ep16.yaml CI 配置 added 5.24
scripts/ci/slurm/recipes/mi355x-fp4/glm52/1k1k/2p1d-ep16-mtp.yaml CI 配置 added 5.3
scripts/ci/slurm/nightly-configs.yaml CI 配置 modified 4.31

分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

  1. 模型路径疑似不一致nightly-configs.yamlmodel 字段为 amd/GLM-5.2-MXFP4,但 model_path 指向 models--amd--GLM-5.1-MXFP4,可能为笔误或镜像映射,需确认实际加载的模型版本。
  2. 阈值覆盖风险:GSM8K 阈值 0.91 低于实测(0.949/0.947),留有一定余量,但若未来硬件或软件回归,可能出现误报通过。
  3. CI 资源消耗:4 节点(MI355X)配置资源占用大,夜间任务失败可能影响其他 CI 任务排队。
  4. 配置维护成本:新增两个配方依赖特定镜像标签和 MoRI 网络环境,若镜像或网络拓扑变化,需同步更新。

对用户无直接影响(纯 CI 基础设施)。对团队而言,增强了 AMD MI355X 平台上 GLM-5.2 模型在 wide-EP16 2P1D 场景下的回归覆盖,为后续优化提供基准数据。对系统影响有限,仅增加夜间任务数量。

模型路径疑似版本不一致 新增 CI 资源消耗 阈值余量需关注

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论