verl-project/verl · 标签视图

修复 fully-async 脚本中缺失的 sleep_mode 启用配置，保障 KV 缓存回收功能正常。

此 PR 值得精读，虽然代码改动微小，但它揭示了 vLLM 组件间一个关键的配置依赖关系（sleep mode 对 KV 缓存回收 API 的必要性）。对于维护或扩展 fully-async 功能的开发者尤其重要，需确保所有启动脚本的配置一致。

CI 工作流从 fully_async 迁移到 v1 separate_async

值得阅读，尤其关注其 CI 迁移方式和参数校验设计。建议合入后重点观察：1) `e2e_v1_separate_async_*` 系列工作流首次运行是否全绿；2) 被删除的 GenRM 覆盖是否需要补回 v1 路径；3) 后续 `fully_async` recipe 化是否按此方案推进。

为 FSDP1 新增分片保存/恢复 handler，修复 Fully Async 崩溃

值得精读。该 PR 是一个小而清晰的 bugfix，展示了按「参数表示形态」拆分 handler 的设计思路：FSDP1 扁平 Tensor 与 FSDP2 DTensor 不能共用 CPU 保存/恢复工具。建议重点关注 fsdp_utils 中两个新函数的实现细节（barrier、跳过缺失参数、copy_ 语义）以及 engine_workers 中 strategy 分支的改动。但需注意测试缺失，后续应补一个 FSDP1 + fully_async + bypass_mode=False 的回归测试。

引入动态资源调度提升异步训练 GPU 利用率

建议： - **优先解决 `ray.get()` 阻塞问题**：这是影响稳定性的关键 bug，应在合并前改用 `await`。 - **增加单元测试**：至少对 `DynamicScheduleContext` 计算、`DefaultDynamicSchedulePolicy` 决策逻辑、`DynamicResourceController` 状态转换进行模拟测试。 - **关注 `abort_replicas` 位置**：接受 wuxibin89 建议，将相关操作完全挪至 controller。 - **值得精读**：动态调度策略的设计模式（可插拔、上下文驱动）具有参考价值，可作为未来类似功能的样板。

降低权重同步桶大小和 GPU 显存占比，修复 OOM

该 PR 是典型的运行时显存调优，无复杂逻辑变更，可作为全异步训练 OOM 问题的参考案例；若你也在 Ascend 上跑全异步训练，建议同步此调整。

降低 vLLM NPU 补丁版本下限至 0.18

该 PR 改动极小且逻辑清晰，无需精读。对于 NPU + vLLM 0.18.x 的用户，建议关注后续是否会有针对该版本的进一步修复。

适配 vLLM 0.19+ 在 Ascend NPU 上的兼容性

该 PR 值得阅读，尤其是 `create_tcp_store` 的异常处理和 `StatelessProcessGroup` 版本分支的设计，可作为跨版本兼容性的参考模式。

修复 OPD 训练中 teacher 温度配置引发的崩溃

值得快速合并，是一个纯增益的低风险修复。可关注后续项目级日志配置清理 PR。建议阅读 `_get_teacher_sampling_params` 的注释以了解 Hydra 插值导致的配置传播问题。