Prhub

#41453 [CI] Route part of B200 jobs to b200-k8s

原始 PR 作者 khluu 合并时间 2026-05-06 10:00 文件变更 10 提交数 2 评论 1 代码增减 +15 / -15

执行摘要

将 B200 CI 作业路由到 Kubernetes 集群

根据 PR 描述,作者基于 Buildkite 构建 63724 和 63735 的验证结果,将已通过的 B200 作业逐步迁移到 b200-k8s 设备上,而未通过或被阻塞的作业仍保留在 b200 设备上,以控制迁移风险。

建议 CI 维护者重点关注新运行器上的测试通过率,尤其是需要多 GPU 的作业。同时可考虑采纳 review 评论中的建议,显式声明 num_devices 以避免资源分配问题。对于其他后续迁移工作,可参考本 PR 的分批验证策略。

讨论亮点

gemini-code-assist[bot] 评论指出:迁移到 b200-k8s 时,应显式指定 num_devices: 2,因为 K8s 运行器不会像之前 b200 那样默认分配 2 个 GPU,否则可能导致资源不足。该评论标记为高优先级,但最终 PR 未采纳此建议,未添加 num_devices 字段。simon-mo 对此 PR 给予了 Approve。

实现拆解

  1. 验证已通过的 B200 作业:通过 bk build view 命令从两个 Buildkite 构建中列出通过验证的 B200 任务。
  2. 修改 YAML 配置:在 .buildkite/test_areas/ 下的 10 个 YAML 文件中,将对应作业的 device 字段从 b200 改为 b200-k8s
  3. 保留失败作业:未通过或被阻塞的作业保持原 device: b200,避免影响已有 CI 稳定性。
  4. 预提交检查:运行 pre-commit rungit diff --check 确保格式正确。
  5. 分两次提交:第一个 commit 包含所有配置修改,第二个 commit 单独修正 kernels.yaml 中的额外一处。
文件 模块 状态 重要度
.buildkite/test_areas/compile.yaml CI 配置 modified 3.75
.buildkite/test_areas/kernels.yaml CI 配置 modified 3.41
.buildkite/test_areas/lm_eval.yaml CI 配置 modified 3.41
.buildkite/test_areas/attention.yaml CI 配置 modified 3.12
.buildkite/test_areas/benchmarks.yaml CI 配置 modified 3.12
.buildkite/test_areas/distributed.yaml CI 配置 modified 3.12
.buildkite/test_areas/e2e_integration.yaml CI 配置 modified 3.12
.buildkite/test_areas/misc.yaml CI 配置 modified 3.12
.buildkite/test_areas/quantization.yaml CI 配置 modified 3.12
.buildkite/test_areas/spec_decode.yaml CI 配置 modified 3.12

分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。

评论区精华

迁移到 K8s 时需显式指定 num_devices 设计

在 compile.yaml 的 Fusion and Compile Unit Tests (2xB200) 迁移中,评论建议显式添加 num_devices: 2,因为 K8s 运行器不会默认分配 2 GPU。评论标记为高优先级。

结论:PR 未采纳该建议,最终代码未添加 num_devices 字段。 · unresolved

风险与影响

环境差异风险b200-k8s 运行器的环境(驱动、CUDA 版本、依赖库等)可能与原有 b200 不一致,导致测试结果异常。资源请求风险:fusion-and-compile-unit-tests-2xb200 等作业依赖 2 个 GPU,但未显式声明 num_devices,K8s 运行器可能只分配 1 个 GPU 导致失败。回退困难:如果新运行器大面积失败,需要逐个 YAML 文件回退 device 值,但整体改动轻量,可快速恢复。

影响范围:CI 基础设施,覆盖 10 个测试区域,涉及编译、内核、评测、注意力等关键测试套件。影响程度:中等——如果新运行器稳定,可提升资源利用率;如果出现问题,会导致相关 B200 测试阻塞。用户影响:无,仅影响 CI 流程。团队影响:需持续监控 b200-k8s 运行器的通过率,验证迁移效果。

K8s 环境差异 资源请求不明确

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论