verl-project/verl · 标签视图

夜间 Ascend 检查步骤增加日志等待与诊断

建议 CI 维护者精读这次改动，它示范了一种成本极低的「先吸收延迟、再落证据」的 flaky 处理策略：有界轮询加 `-s` 判定、诊断命令挂 `|| true`、路径收敛到变量，都值得复用到其他 Ascend 夜间作业的同类检查步骤。重点看三处设计决策：(1) 60s 上限与 10s 间隔的取舍；(2) 诊断只打尾部 4096 字节；(3) 把日志路径抽成 `LOG` 变量。若追求更彻底，可进一步讨论把检查输入改为 Actions stdout、或在训练脚本里给 `tee` 加 `stdbuf -oL` / 追加后 `sync`，以及把诊断文件作为 artifact 上传。同时务必在团队内同步：该作业要恢复全绿还需在 verl-project/verl-ascend-recipe 仓库重新生成 `baseline_qwen3_vl_8b_Instruct_fsdp2_npu.txt`，这不是本仓库能解决的。

补充昇腾 NPU 上 Checkpoint Engine 后端配置文档

该 PR 无需精读代码，建议用 3-5 分钟浏览文档正文即可，重点关注三个设计决策：(1) `nccl` 在 NPU 上被隐式解析为 HCCL——这是一个“配置名与实现后端不一致”的接口约定，值得确认其实现位置并在代码侧保留注释，避免后续被误当作 bug 改掉；(2) Mooncake 在 NPU 上依赖源码编译 `ascend_direct`，属于部署前置条件，建议在昇腾镜像或安装脚本文档中交叉引用；(3) 参数表默认值（2048 MB 桶、`group_name=default`、`rebuild_group=False`）与实现的一致性没有自动化保障，建议后续修改 checkpoint engine 的 PR（如 Mooncake 相关修复）把更新本文档纳入 checklist。若团队有英文文档镜像，建议同步一份以覆盖英文用户。

Ascend 镜像将 transformers 固定为 5.10.4

不建议精读，属于常规依赖修复。值得留意的是固定版本的操作位置（bridge 安装之后、清理之前）以及注释习惯；更值得反思的是 PR 描述过于简短，缺少不兼容现象说明和验证方式，团队在后续依赖升级时应补充 issue 链接与冒烟验证步骤。

NPU 补丁增加部分唤醒防护，修复 GLM-5.2 异步训练崩溃

建议精读。本 PR 是典型的“对外部引擎做安全 monkey-patch”的范本：源码指纹校验、幂等 marker、spawn 入口包装三件事结合得很好，对维护 vllm-ascend、sglang 等外部组件兼容层的开发者有直接参考价值。值得关注的设计决策是“先验证再替换”和“通过入口函数传播补丁到子进程”这两个模式。

修复 GLM-5.2 Ascend 示例脚本：关闭 checkpoint 严格校验并更新依赖 refs

值得快速浏览，但无需精读。该 PR 是典型的 recipe 维护类变更，核心价值在于两点：一是学会在示例脚本中通过 `checkpoint.strict=False` 处理权重冗余/缺失场景；二是注意依赖 ref 与镜像栈的版本对齐。可作为 Ascend 示例脚本维护的参考。

新增 Ascend NPU batch-invariant 开关回归测试（14 例）

值得精读，但读的是测试脚手架而不是代码改动本身。 - 重点看 `run_on_npu` 的 spawn 子进程隔离设计：对于会在全局注册 torch dispatch 表或替换 `torch.sum`、`torch_npu.npu_add_rms_norm` 这类入口的开关，进程级隔离是唯一可靠的隔离手段，这套写法可直接迁移到其他 NPU 补丁测试。 - 重点看 `_run_check` 如何用真实 `vLLMHttpServer` 加最小 mock（模型元数据 + Ray 上下文 + 引擎配置单例）触发真实的 `init_batch_invariance()`，避免了「只测 mock」的假阳性，同时不付出加载权重与拉起推理引擎的代价。 - 关键设计决策：enabled/disabled 双向断言（特别是 disabled 时要求 `batch_invariant_ops::` 事件数必须为 0），这比只测开启路径更能捕获 dispatch 注册泄漏。 - 若要真正确认能力，建议后续补一个跨 batch size 的一致性用例：同一条样本分别放进 batch=1 与 batch=N 比较 logprob 位级一致，才覆盖 `full_determinism` 的语义；并补齐 CI 收集与算子包安装的验证，避免长期 skipped。 - 维护建议：把对 `bi._batch_invariant_LIB` 等私有符号的依赖在注释中显式标注为「随 vllm-ascend 版本可能变动」，并在 PR 描述中把文件名与 body 里的 `test_batch_invariant_switch.py` 对齐。

Ascend 镜像与 NPU 单测默认加载 megatron_adaptor 并修正依赖 tag

建议中低强度精读：改动只有 11 行，但位于「镜像构建 → patch → CI」的关键路径上，维护 Ascend 镜像、NPU CI 与 Megatron 后端的同学花 5 分钟读完即可。最值得关注的设计决策有两处：一是 `VERL_USE_EXTERNAL_MODULES` 是否应无条件写进镜像 ENV，还是让下游启动脚本显式开启；二是 Megatron-LM/MindSpeed 的 tag 引用是否应集中维护，避免 Dockerfile 与安装脚本各写一份、日后再次漂移。

修复 Mooncake 检查点引擎中跨权重版本未消费完成槽位导致的缓冲区过早释放问题。

此 PR 值得精读。它解决了一个在分布式权重同步中微妙但严重的数据竞争条件，修复方案精准且最小化。对于从事分布式训练、检查点引擎或 RDMA 通信的工程师，理解其设计（尤其是完成槽位的双缓冲消费模式）非常有价值。建议关注其手动验证的严谨性，并思考如何为这类底层修复补充自动化测试，以防未来回归。