Prhub

#46686 [Hardware][AMD][CI] Move Metrics, Tracing (2 GPUs) & make optional

原始 PR 作者 mawong-amd 合并时间 2026-06-25 13:49 文件变更 2 提交数 1 评论 0 代码增减 +3 / -2

执行摘要

将 AMD 上的 Metrics/Tracing 测试移到 MI325 并设为 optional

当前 Metrics, Tracing (2 GPUs) 测试组在 AMD MI300 上出现异常高的 CPU 端段错误率,严重影响 CI 稳定性。作者希望将该测试移动到 MI325 设备上并设为 optional(可选),以在不阻塞 CI 的前提下继续调查根因。

这是一个纯粹的 CI 配置调整,无源码变更。值得关注的是其动机——AMD MI300 上 CPU 端段错误率异常高,这可能是一个更底层的问题(驱动、内存、或 PyTorch 版本兼容性)。建议后续关联一个 Issue 跟踪根因。

讨论亮点

无 review 讨论。审核人 AndreasKaratzas 直接批准了 PR。

实现拆解

  1. 修改 .buildkite/test_areas/misc.yaml(镜像定义):将 metrics-tracing-2-gpus 测试组的 AMD mirror 设备从 mi300_2 改为 mi325_2,并新增 optional: true 标记,使该测试在 AMD 上变为可选。
  2. 修改 .buildkite/test-amd.yaml(主流水线):将同一测试组的 timeout_in_minutes 从 180 分钟调整为 20 分钟,与上游 NVIDIA 测试的 timeout 保持一致。
文件 模块 状态 重要度
.buildkite/test_areas/misc.yaml CI 配置 modified 3.17
.buildkite/test-amd.yaml CI 配置 modified 3.07

关键源码片段

.buildkite/test_areas/misc.yaml configuration

定义了 Metrics, Tracing (2 GPUs) 的镜像配置,将 AMD 设备从 mi300_2 改为 mi325_2 并添加 optional: true。

# .buildkite/test_areas/misc.yaml 中 metrics-tracing-2-gpus 的 mirror 段(变更后)
  mirror:
    amd:
      device: mi325_2 # 从 mi300_2 改为 mi325_2
      depends_on:
      - image-build-amd
      optional: true # 新增:标记为可选,不阻塞 CI

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

风险极低。仅修改 CI 配置 YAML 文件,不涉及任何源码或逻辑变更。唯一可能的影响是 MI325 上该测试若失败,由于 optional: true,不会阻塞流水线,也不会触发告警,可能掩盖真实问题。

影响范围仅限于 AMD CI 流水线。"Metrics, Tracing (2 GPUs)" 测试在 MI300 上不再运行,改为在 MI325 上以可选方式运行。其他硬件平台(NVIDIA 等)不受影响。

CI 配置变更 可选测试可能掩盖失败

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论