Prhub

#55252 [ROCm][CI] Stage F gating

原始 PR 作者 AndreasKaratzas 合并时间 2026-09-12 15:40 文件变更 9 提交数 12 评论 9 代码增减 +236 / -0

执行摘要

为 ROCm CI 新增 15 个 AMD 镜像测试门禁

PR body 说明要“Add 15 AMD mirrors for existing CI test groups”,即在现有 NVIDIA 测试组上挂 AMD mirror,让 ROCm 相关测试成为合入门禁的一部分。结合近期 PR 56522(延长 MI300 测试超时)和 56526(修复 ROCm Kimi-K3 崩溃)可知,ROCm 平台正在系统性地加大 CI 覆盖,而本 PR 是其中的 Stage F 阶段:将分散的 AMD 镜像测试统一纳入 gating。Issue 评论中的 mergify 提示曾出现冲突,需要 rebase。

值得精读。这是 vLLM 将 AMD 平台纳入一等公民的重要一步,展示了 Buildkite mirror 机制的用法,对理解 ROCm CI 布局有帮助。后续若想了解完整 Stage F/G 演进,可对比 PR 56522、56526 等。

讨论亮点

CodeRabbit 提出 1 条 actionable 评论:rust_frontend_cargo.yaml 中两个 MI250 Cargo mirror 的 timeout 分别为 25 分钟,与独立 AMD job 的 35 分钟不一致,建议统一为 35 分钟。提交 4405802 已修复。此外 mergify 曾提示 merge conflict 需要 rebase,最终作者通过多次 merge origin/main 解决。没有其他实质性争议。

实现拆解

  1. 在每个目标测试组的 YAML 定义末尾追加 mirror.amd 块,将 NVIDIA job 复制为 AMD job;
  2. AMD job 使用 mi250_1/mi250_4/mi355_1/mi355_2 设备池,并设置 depends_on: image-build-amd 以复用 ROCm 镜像构建产物;
  3. 部分 mirror 使用 no_gpu: true(如 Rust Cargo、Basic Models Other、Multimodal Processor Shard),表示这些测试不需要 GPU,可在 CPU 或轻量节点运行;
  4. 对需要 ROCm 特定依赖的测试,在 commands 中安装 requirements/kv_connectors_rocm.txt 或设置 ATTENTION_BACKEND=TRITON_ATTN(如 NixlConnector 系列);
  5. 每个 mirror 单独声明 source_file_dependencies,使其能在对应源码变化时触发;
  6. 12 个 commit 中包含多次 merge origin/main,并在 commit 8a98b2e 中说明“Resolve Basic Models Other with the incoming Qwen3.5 MTP configuration test”,即与 main 的冲突被解决并保留了新覆盖。
文件 模块 状态 重要度
.buildkite/test_areas/misc.yaml CI 配置 modified 4.73
.buildkite/test_areas/lm_eval.yaml CI 配置 modified 4.66
.buildkite/test_areas/distributed.yaml CI 配置 modified 4.62

分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。

评论区精华

MI250 Rust Cargo mirror 超时不一致 测试

CodeRabbit 在 rust_frontend_cargo.yaml 中指出两个 MI250 Cargo mirror 的 timeout_in_minutes 为 25,而独立 AMD job 是 35,建议统一为 35 以避免 mirror 因超时失败。

结论:作者在 commit 4405802 中修复,将两个 mirror 超时从 25 改为 35 分钟。 · 已解决

merge 冲突处理 other

mergify 提示“This pull request has merge conflicts that must be resolved”,需要在合并前 rebase。

结论:作者未 rebase,而是多次 merge origin/main 解决冲突,最终 head_sha 019ace4 成功合并。 · 已解决

风险与影响

纯 CI 配置变更,不涉及运行时代码。主要风险是:

1) 新 AMD mirror 可能因环境差异(如 MI250 的 GPU 数量、显存、驱动)导致测试失败,需要在 CI 中观察;
2) 增加 CI 流水线总耗时,AMD 节点资源可能成为瓶颈;
3) 如果某些测试在 ROCm 上本身就不稳定,gating 后可能阻塞合入,需要后续用 optional 或 skip 处理(如 PR 56463 对 XPU 的做法);
4) mirror 的 source_file_dependencies 若配置不当,可能导致测试触发不足或过度触发。

对 CI 流水线:AMD 硬件利用率提升,合入门禁覆盖扩大;对 ROCm 用户:更早发现回归,保证主要功能在 AMD GPU 上可用;对团队:需要维护 15 组 mirror 的配置,增加 CI 维护成本。对最终用户无直接影响,但能提升 AMD 平台的软件质量。

新增 CI 门禁 环境差异风险 资源占用增加 纯配置变更

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论