verl-project/verl

Ascend Docker 镜像 CANN 升级至 9.1.0 并同步 CI 与文档

该 PR 适合快速浏览，作为版本升级时对 CI 文件名联动影响的参考案例。值得关注的是：Dockerfile 重命名必须同步更新工作流中所有路径引用（触发过滤、grep 解析、build-push 参数），这是一个容易遗漏的联动点；建议维护者后续在 CHANGELOG 或发布说明中提示外部用户迁移文件路径。

为 NPU nightly CI 新增三个基线对比检查

值得 CI/基础设施维护者快速浏览，了解 NPU nightly 的基线对比模式。设计上简单直接，但存在任务名称与实际脚本不一致的小问题，建议后续清理。无需深入精读。

引擎后端导入失败时发警告替代静默跳过

值得快速阅读，改动只有 1 个文件 17 行。关注点： - 警告文本中 `stacklevel=1` 的定位是否准确，以及是否应使用 `stacklevel=2` 指向调用方。 - 是否应该用 `logger.warning` 替代 `warnings.warn`，以便与 verl 现有日志体系对齐。 - 警告噪音是否会造成用户误判，可考虑仅在环境变量显式开启时打印。

修复非合并 LoRA 同步时 vLLM 权重名 .base_layer 解析

值得精读。核心看 `resolve_weight_name` 的分支设计与 vLLM 版本探测逻辑，以及 review 中"非 LoRA 路径性能隔离"和"把解析函数移出扩展类"两条决策；对维护 Megatron + vLLM LoRA 同步链路的工程师尤其重要。建议合入后持续观察不同 vLLM 版本下的回归。

修复 REINFORCE++ 多轮观察段奖励丢失

值得精读。这是一个小而精准的正确性修复：展示了如何用与 GAE 一致的 carry-through 模式统一处理 response_mask 的双重语义，避免在同一代码库中出现两套不一致的 mask 行为。测试设计覆盖了核心回归、gamma 折扣、padding、batch 和单轮兼容性，可作为 RL 算法修改的测试范例。建议重点关注 running_return 选择逻辑与测试中对 observation/padding 的区分。

移除 Ray runtime env 中 PYTHONPATH 转发，修复作业提交冲突

值得快速浏览，不必精读。核心收获是 Ray runtime_env 合并的约束：同名键会在 Job-level 与 programmatic 之间冲突。如果团队经常使用 Ray Job 提交训练，建议在文档中明确 PYTHONPATH 必须通过 runtime-env 提供；若存在 out-of-band ray start 场景，可在未来通过更明确的配置开关替代自动转发。

按实际填充长度广播权重桶，减少 NCCL 带宽浪费。

值得精读。该 PR 小而聚焦，适合想理解 verl 权重广播双缓冲机制的人阅读；它能完整展示“通过元数据预协商广播长度”这一模式，并揭示了 ckpt 子系统缺少针对 NCCL 引擎测试的现状。建议关注接收侧裁剪放在 `_run()` 内部的设计决策，以及未来补充测试的可能性。

修复 mHC+MTP 训练崩溃，转发 multistream 并跳过 MTP 激活回收

值得精读，尤其是对 Megatron 显存管理与重计算机制感兴趣的同学。三个看点：一是对 use-after-free 的定位思路——`mhc_multistream` 是 decoder 输出的别名、MTP depth 输入是其 `torch.chunk` view、MTP 与 decoder 的 backward 逆拓扑执行顺序，三者叠加导致 `resize_(0)` 变成高危操作；二是用闭包探测识别 checkpoint 层的技巧，作者明确说明了 `__qualname__` 不带类名这一限制；三是 `disable_mtp_completeness_check` 的 `nullcontext` 兜底模式，是处理跨版本 API 差异的简洁写法。建议后续补充 CPU 层回归测试（构造共享存储 view 场景）以固化此修复，并量化 MTP checkpoint 跳过回收后的显存影响。