执行摘要
- 一句话:临时移除 Ascend CI nightly 测试作业以稳定性能指标。
- 推荐动作:此 PR 为低风险的 CI 维护变更,无需精读。建议关注后续是否完成分析并重新启用该测试作业。
功能与动机
根据 PR body,'Temporarily removed Ascend CI nightlyCI_dapo-moonlight-16b-megatron-vllm_ascend due to flaky performance metrics; re-enable after analysis is complete.' 即由于性能指标不稳定,临时移除该 CI 作业。
实现拆解
- 变更入口:修改 CI 工作流配置文件
.github/workflows/nightly_ascend.yml。
- 核心变更:将
nightlyCI_dapo-moonlight-16b-megatron-vllm_ascend 作业的整个 YAML 配置块注释掉,包括触发条件、运行器、容器、环境变量和步骤。
- 这样做的原因:该作业的性能指标出现抖动(flaky),为避免干扰 CI 稳定性而临时禁用,待后续分析后再决定是否重新启用。
- 对后续逻辑的影响:减少 nightly CI 的测试用例,但不影响其他 CI 作业或生产代码。无测试、配置或部署配套改动。
关键文件:
.github/workflows/nightly_ascend.yml(模块 CI 工作流;类别 infra;类型 configuration): 唯一变更文件,通过注释配置临时禁用了不稳定的 Ascend nightly CI 作业。
关键符号:未识别
关键源码片段
.github/workflows/nightly_ascend.yml
唯一变更文件,通过注释配置临时禁用了不稳定的 Ascend nightly CI 作业。
# Temporarily disabled due to flaky performance metrics; re-enable after analysis.
# nightlyCI_dapo-moonlight-16b-megatron-vllm_ascend:
# if: ${{ github.repository_owner == 'verl-project' && github.event.schedule == '0 17 * * *' }}
# runs-on: linux-aarch64-a2b3-8
# timeout-minutes: 180 # Increase this timeout value as needed
# container:
# image: swr.ap-southeast-1.myhuaweicloud.com/base_image/ascend-ci/verl/verl:latest-vllm-910b-ubuntu
# options: >-
# --shm-size 16g
# env:
# HF_ENDPOINT: "https://hf-mirror.com"
# HF_HUB_ENABLE_HF_TRANSFER: "0" # This is more stable
# TRANSFORMERS_VERBOSITY: 'error'
# steps:
# - name: Check npu and CANN info
# run: |
# cat /usr/local/Ascend/ascend-toolkit/latest/"$(uname -i)"-linux/ascend_toolkit_install.info
# npu-smi info
# # ... 其他步骤(安装依赖、准备数据、运行测试等)均已注释
评论区精华
无核心讨论。Review 审核中,审核者 wucong25 直接批准(APPROVED),未留下评论。
风险与影响
- 风险:技术风险较低:禁用该 nightly 测试可能暂时降低对 Ascend 平台上 Megatron-VLLM 训练的测试覆盖,但由于该测试性能不稳定且为临时措施,风险可控。无回归、性能、安全或兼容性风险。
- 影响:影响范围:仅影响 CI 运行,减少 nightly CI 的测试用例,可能影响对 Ascend 硬件的持续验证。影响程度低,不直接影响用户、生产系统或团队开发流程。
- 风险标记:CI 测试覆盖降低, 临时维护措施
关联脉络
- PR #7584 [ci] fix: drop stale enable_chunked_prefill=False from Ascend NPU scripts: 同为 Ascend CI 配置维护,清理过期配置项以保持 CI 稳定性。
- PR #7558 [ci] fix: drop stale enable_chunked_prefill=False from Ascend NPU scripts: 同为 Ascend CI 脚本清理,涉及类似配置修复。
- PR #7549 [ci] chore: correct step naming for Ascend ci: 同属 Ascend CI 流程优化,调整步骤命名以提升可维护性。
参与讨论