执行摘要
- 一句话:升级 TRT-LLM CI 镜像至 rc14 并清理临时修复
- 推荐动作:值得阅读以了解 CI 维护的最佳实践:升级基础依赖时同步清理临时修复,并在 reviewer 反馈下恢复测试覆盖。commit 历史展示了如何处理 merge 冲突。
功能与动机
PR 关联 #6262 升级了 TRT-LLM 基础镜像至 rc14,新镜像已修复 mbridge 问题,因此需要同步更新 CI 工作流中的镜像引用并清理临时 workaround。同时,在 #6275 合并后 trtllm_async_unit_tests 被移除,需要恢复以保持测试覆盖。
实现拆解
-
更新 docker/Dockerfile.stable.trtllm:将 cccl 包含路径从硬编码 x86_64-linux 改为通过 uname -m 动态获取架构,使 Dockerfile 同时支持 x86_64 和 aarch64 构建。
-
更新两个 CI 工作流文件中的 IMAGE 环境变量:e2e_fully_async_policy_trtllm.yml 和 e2e_ppo_grpo_trainer_trtllm.yml 中的镜像引用从 trtllm1.3.0rc13-20250504 改为 trtllm1.3.0rc14,采用浮动标签。
-
清理临时修复:在 e2e_ppo_grpo_trainer_trtllm.yml 中删除三处 pip install mbridge 的 WAR 步骤;在 e2e_fully_async_policy_trtllm.yml 中删除一处 WAR 步骤。
-
恢复测试覆盖:在 e2e_fully_async_policy_trtllm.yml 中重新添加 trtllm_async_unit_tests job(从 #6275 中移除),运行 test_trtllm_abort.py 等异步单元测试;同时在 e2e_ppo_grpo_trainer_trtllm.yml 中移除重复的 abort 测试运行。
关键文件:
.github/workflows/e2e_fully_async_policy_trtllm.yml(模块 CI配置;类别 infra;类型 infrastructure): 核心变更文件:更新镜像标签、新增 trtllm_async_unit_tests job、移除 mbridge WAR 安装行。
.github/workflows/e2e_ppo_grpo_trainer_trtllm.yml(模块 CI配置;类别 infra;类型 infrastructure): 更新镜像标签并移除所有 mbridge WAR pip 安装行,同时将 test_trtllm_abort.py 迁移到新的 async job。
docker/Dockerfile.stable.trtllm(模块 Docker;类别 infra;类型 infrastructure): 修改 cccl include 路径为架构感知,使 Dockerfile 同时支持 x86_64 和 aarch64。
关键符号:未识别
评论区精华
Reviewer hchings 提出(1)恢复被 #6275 删除的 fully_async unittest job;(2)由于新镜像已修复 mbridge 问题,移除所有对应的 WAR pip 安装行。作者在后续 commit 中全部采纳并解决。
- 恢复 fully_async 单元测试 job (testing): 作者同意并在后续 commit 中恢复了该 job。
- 清理 mbridge 临时修复 (infra): 作者在更新中移除了三个位置的 mbridge 安装。
风险与影响
- 风险:
- CI 镜像更新可能导致环境不兼容,但基础镜像已在 #6262 中验证。
- 测试 job 的移动和恢复需要确保没有遗漏测试用例,commit 历史显示已正确处理。
- Dockerfile 的架构感知路径修改在 x86_64 和 aarch64 上均需验证,但仅影响 cccl 路径,风险可控。
- 影响:影响范围限于 TRT-LLM 相关的 CI 流程(e2e_ppo_grpo_trainer_trtllm 和 e2e_fully_async_policy_trtllm),包括 3 个工作流文件和 Dockerfile。对用户无直接影响,团队需确保新镜像通过 CI 测试。
- 风险标记:CI 镜像升级, 测试覆盖恢复, 临时修复清理
关联脉络
- PR #6262 [docker] chore: bump trtllm to 1.3.0rc14 and pin mbridge: 升级基础镜像到 rc14,本 PR 同步升级 CI 镜像引用。
- PR #6275 [ci] chore: slim down TRT-LLM CI: 该 PR 移除了 trtllm_async_unit_tests job,本 PR 在 review 要求下恢复了该 job。
参与讨论