verl-project/verl · 标签视图

夜间 Ascend 检查步骤增加日志等待与诊断

建议 CI 维护者精读这次改动，它示范了一种成本极低的「先吸收延迟、再落证据」的 flaky 处理策略：有界轮询加 `-s` 判定、诊断命令挂 `|| true`、路径收敛到变量，都值得复用到其他 Ascend 夜间作业的同类检查步骤。重点看三处设计决策：(1) 60s 上限与 10s 间隔的取舍；(2) 诊断只打尾部 4096 字节；(3) 把日志路径抽成 `LOG` 变量。若追求更彻底，可进一步讨论把检查输入改为 Actions stdout、或在训练脚本里给 `tee` 加 `stdbuf -oL` / 追加后 `sync`，以及把诊断文件作为 artifact 上传。同时务必在团队内同步：该作业要恢复全绿还需在 verl-project/verl-ascend-recipe 仓库重新生成 `baseline_qwen3_vl_8b_Instruct_fsdp2_npu.txt`，这不是本仓库能解决的。

Ascend 镜像与 NPU 单测默认加载 megatron_adaptor 并修正依赖 tag

建议中低强度精读：改动只有 11 行，但位于「镜像构建 → patch → CI」的关键路径上，维护 Ascend 镜像、NPU CI 与 Megatron 后端的同学花 5 分钟读完即可。最值得关注的设计决策有两处：一是 `VERL_USE_EXTERNAL_MODULES` 是否应无条件写进镜像 ENV，还是让下游启动脚本显式开启；二是 Megatron-LM/MindSpeed 的 tag 引用是否应集中维护，避免 Dockerfile 与安装脚本各写一份、日后再次漂移。

移除昇腾夜间 CI 中冗余的 Megatron Bridge 安装步骤，简化工作流。

此 PR 是一个简单直接的 CI 配置清理，旨在移除冗余步骤。对于需要了解 Ascend NPU CI 环境配置或 Megatron Bridge 依赖情况的工程师有参考价值。对于其他开发者，此 PR 的精读价值不高，快速了解其意图即可。

分离 rollout 和训练 profiler 窗口，修复 NPU/GPU 并发采集冲突导致数据丢失。

本 PR 是一个高质量、有针对性的 bugfix，解决了实际硬件平台上的关键问题。它不仅修复了核心逻辑，还显著增强了测试和验证基础设施。强烈建议精读其实现，尤其是三种 trainer 模式下 profiler 生命周期控制的新设计，这对理解 V1 架构的扩展性和健壮性有重要参考价值。实现逻辑清晰，测试充分。

升级 Ascend A2/A3 镜像至 Megatron 0.18.0 并切换依赖栈。

这是一个重要的基础设施升级 PR，虽然不涉及核心算法或训练逻辑的改动，但它改变了 Ascend 平台上所有训练任务的底层依赖栈和运行时配置。对于使用 Ascend 的开发者或运维人员，此 PR 值得精读，以理解版本升级的具体内容和配置切换点，从而安全地完成环境迁移。对于不使用 Ascend 的读者，可以略过。

修复 transformers 升级后 CI 失败，更新模型和依赖配置。

这是一个常规的 CI 修复 PR，主要涉及配置调整和测试适配。值得快速浏览以了解 transformers 升级后的兼容性问题，但无需深度精读核心逻辑。建议关注测试模型变更和依赖添加，以确保后续类似升级时有参考。

统一项目所有后端的 transformers 版本至 5.9.0，简化依赖管理。

这是一个重要的依赖维护 PR，虽然代码变更简单，但影响面较广。建议精读 `pyproject.toml` 中关于 `override-dependencies` 新策略的注释，理解其设计意图。对于所有使用者，需要在更新环境后运行测试套件，特别是与 `transformers` 交互紧密的功能，以确保升级无破坏性。该 PR 是项目依赖治理简化的积极一步，值得肯定。

FSDP-Turbo e2e 测试从 GPU 迁移至 NPU，清理空梯度同步上下文

值得精读，尤其是想了解“如何将一个后端的 e2e 测试从 GPU 迁移到 NPU”以及“如何处置历史 workaround”的读者。关注点：删除 `_gradient_sync_context` 是否真的安全，建议在 PR 描述或后续提交中补充原因；同时留意是否有计划为 GPU 侧补充单元测试或恢复轻量 e2e，避免 fsdp_turbo 在 CUDA 上失去回归保护。