verl-project/verl · 标签视图

R2 回放模型作用域化并显式启用，修复 Megatron 回归

值得精读。重点学习三点：(1) opt-in + model-scoped 的双重机制如何从根上避免 #7106 的回归——这是"修复被回退后重做"的教科书案例；(2) 分布式集体通信中空 stage 用 0-layer 占位参与的设计，`pp_gather` 的防御性校验也值得借鉴；(3) 多模态 HF config 树遍历中"只走 text 分支、隔离兄弟配置"的约束，对 Qwen3-Omni 类模型接入有直接价值。此外，SamitHuang 的三条 review 展示了如何把"静默错误"审出来并推动作者用测试固化。

默认使用标准 pre-KL 奖励（rm_scores）进行 DAPO 动态分组过滤

此 PR 是一个**有价值且实现精良的功能增强**。它通过提供开箱即用的标准奖励过滤路径，显著简化了 DAPO 动态采样的配置，并提升了其与核心奖励计算流程的集成度。实现方案清晰，通过分支逻辑兼容了新旧两种指标读取方式，并附带了针对性强的单元测试。考虑到默认值的变更可能对现有用户产生影响，建议在发布说明中明确提示此行为变化。整体而言，**值得精读其核心逻辑分支和测试用例的设计**，以理解如何优雅地扩展现有功能并保持兼容性。

为 torch_memory 分析器增加 CUDA/NPU OOM 自动快照和多步内存历史窗口。

该 PR 是一个高质量的增强功能，解决了一个常见的痛点。代码结构清晰，异常处理完善，测试覆盖全面。建议相关开发者（尤其是进行大规模训练调优的团队）精读其设计，特别是 OOM 回调的实现和多步窗口的配置使用。

修复 fully-async 脚本中缺失的 sleep_mode 启用配置，保障 KV 缓存回收功能正常。

此 PR 值得精读，虽然代码改动微小，但它揭示了 vLLM 组件间一个关键的配置依赖关系（sleep mode 对 KV 缓存回收 API 的必要性）。对于维护或扩展 fully-async 功能的开发者尤其重要，需确保所有启动脚本的配置一致。

FSDP 延迟梯度同步新增开关，实际默认改为 false

值得精读，尤其是 `_gradient_sync_context` 的 `getattr` 兼容写法与配置默认值在数据类/YAML 两层的分歧。建议关注合入后默认值调整的决策背景（内存优先），并留意后续是否有统一默认值的跟进 PR。

移除失效 grad_offload 配置，属 Breaking 清理

值得快速阅读（约 15 分钟），重点关注两点：一是 `verl/workers/config/engine.py` 如何通过 dataclass + 生成配置联动维护配置契约，二是本 PR 与 #7536/#7466 形成的“清理死配置键”模式。如果有外部 Megatron 脚本或自定义配置，需要检查是否引用 `grad_offload` 并完成迁移。实现本身较机械，不需要深读。

修复 CLI 序列化丢弃显式 False 布尔参数

值得精读，尤其关注 `_optional_bool_vllm_args()` 的内省方法和 `build_cli_args_from_config` 的分支逻辑。此修复解决了配置与引擎实际行为不一致的隐蔽问题，且测试覆盖全面，对理解 vLLM 参数序列化很有帮助。

新增配置驱动的 checkpoint 保存回调钩子

值得精读。设计上有三个可借鉴点：null-object 模式省去调用点空值守卫、fail-fast 语义保证 checkpoint 副作用不静默失败、`**kwargs` 与 no-op 基类为未来扩展事件预留兼容性。评审中“不碰 deprecated trainer、删冗余 UT”的收敛也值得学习。计划在 verl 上做 checkpoint 上传/注册/评估接入的团队可直接照此实现。