执行摘要
- 一句话:将 AMD 上的 Metrics/Tracing 测试移到 MI325 并设为 optional
- 推荐动作:这是一个纯粹的 CI 配置调整,无源码变更。值得关注的是其动机——AMD MI300 上 CPU 端段错误率异常高,这可能是一个更底层的问题(驱动、内存、或 PyTorch 版本兼容性)。建议后续关联一个 Issue 跟踪根因。
功能与动机
当前 Metrics, Tracing (2 GPUs) 测试组在 AMD MI300 上出现异常高的 CPU 端段错误率,严重影响 CI 稳定性。作者希望将该测试移动到 MI325 设备上并设为 optional(可选),以在不阻塞 CI 的前提下继续调查根因。
实现拆解
- 修改
.buildkite/test_areas/misc.yaml(镜像定义):将 metrics-tracing-2-gpus 测试组的 AMD mirror 设备从 mi300_2 改为 mi325_2,并新增 optional: true 标记,使该测试在 AMD 上变为可选。
- 修改
.buildkite/test-amd.yaml(主流水线):将同一测试组的 timeout_in_minutes 从 180 分钟调整为 20 分钟,与上游 NVIDIA 测试的 timeout 保持一致。
关键文件:
.buildkite/test_areas/misc.yaml(模块 CI 配置;类别 config;类型 configuration): 定义了 Metrics, Tracing (2 GPUs) 的镜像配置,将 AMD 设备从 mi300_2 改为 mi325_2 并添加 optional: true。
.buildkite/test-amd.yaml(模块 CI 配置;类别 config;类型 configuration): 定义了 AMD CI 流水线的测试步骤,将 timeout_in_minutes 从 180 改为 20,与上游保持一致。
关键符号:未识别
关键源码片段
.buildkite/test_areas/misc.yaml
定义了 Metrics, Tracing (2 GPUs) 的镜像配置,将 AMD 设备从 mi300_2 改为 mi325_2 并添加 optional: true。
# .buildkite/test_areas/misc.yaml 中 metrics-tracing-2-gpus 的 mirror 段(变更后)
mirror:
amd:
device: mi325_2 # 从 mi300_2 改为 mi325_2
depends_on:
- image-build-amd
optional: true # 新增:标记为可选,不阻塞 CI
评论区精华
无 review 讨论。审核人 AndreasKaratzas 直接批准了 PR。
风险与影响
- 风险:风险极低。仅修改 CI 配置 YAML 文件,不涉及任何源码或逻辑变更。唯一可能的影响是 MI325 上该测试若失败,由于
optional: true,不会阻塞流水线,也不会触发告警,可能掩盖真实问题。
- 影响:影响范围仅限于 AMD CI 流水线。"Metrics, Tracing (2 GPUs)" 测试在 MI300 上不再运行,改为在 MI325 上以可选方式运行。其他硬件平台(NVIDIA 等)不受影响。
- 风险标记:CI 配置变更, 可选测试可能掩盖失败
关联脉络
参与讨论