verl-project/verl · 标签视图

修复 fully-async 脚本中缺失的 sleep_mode 启用配置，保障 KV 缓存回收功能正常。

此 PR 值得精读，虽然代码改动微小，但它揭示了 vLLM 组件间一个关键的配置依赖关系（sleep mode 对 KV 缓存回收 API 的必要性）。对于维护或扩展 fully-async 功能的开发者尤其重要，需确保所有启动脚本的配置一致。

FSDP 延迟梯度同步新增开关，实际默认改为 false

值得精读，尤其是 `_gradient_sync_context` 的 `getattr` 兼容写法与配置默认值在数据类/YAML 两层的分歧。建议关注合入后默认值调整的决策背景（内存优先），并留意后续是否有统一默认值的跟进 PR。

移除失效 grad_offload 配置，属 Breaking 清理

值得快速阅读（约 15 分钟），重点关注两点：一是 `verl/workers/config/engine.py` 如何通过 dataclass + 生成配置联动维护配置契约，二是本 PR 与 #7536/#7466 形成的“清理死配置键”模式。如果有外部 Megatron 脚本或自定义配置，需要检查是否引用 `grad_offload` 并完成迁移。实现本身较机械，不需要深读。

修复 CLI 序列化丢弃显式 False 布尔参数

值得精读，尤其关注 `_optional_bool_vllm_args()` 的内省方法和 `build_cli_args_from_config` 的分支逻辑。此修复解决了配置与引擎实际行为不一致的隐蔽问题，且测试覆盖全面，对理解 vLLM 参数序列化很有帮助。

新增配置驱动的 checkpoint 保存回调钩子

值得精读。设计上有三个可借鉴点：null-object 模式省去调用点空值守卫、fail-fast 语义保证 checkpoint 副作用不静默失败、`**kwargs` 与 no-op 基类为未来扩展事件预留兼容性。评审中“不碰 deprecated trainer、删冗余 UT”的收敛也值得学习。计划在 verl 上做 checkpoint 上传/注册/评估接入的团队可直接照此实现。

删除残留 ref.router_replay 配置，修复 Hydra dataclass 实例化报错

值得花 5 分钟快速阅读，作为“配置 schema 与 dataclass 一致性”的典型案例，建议与 #7466 合并阅读。关注点：(1) verl 用 omega_conf_to_dataclass + Hydra struct 模式实例化配置的机制，多余键会直接抛 TypeError；(2) 顶层死配置键如何分两步（#7466 删 actor 侧、本 PR 删 ref 侧）才清理干净；(3) 是否值得在 CI 增加生成配置与 schema 的一致性校验，防止同类回归。

移除 actor.router_replay 死键，路由回放统一走引擎配置

值得快速精读。这是一个典型的“配置死键静默失效”修复案例，核心看点是 review 中 wuxibin89 的“直接删除优于兼容”决策如何改变实现方向，以及用契约测试锁定配置 schema 的写法。对后续任何“文档与代码不一致、双份配置入口”问题都有参考价值。

separate_async 训练空闲 GPU 借给生成，wall clock 提速 12.6%

值得精读，尤其是两个设计点：① 自适应阈值调度——用「滞回步进 + 连续步数释放」的最小状态量避免频繁切换，并用滑动窗口切换成本 + 静态 scaling factor 建模收益，是资源借调类功能的经典范式；② 在 vLLM 无 KV-only release API 的约束下，用 `sleep(2)+wake_up(tags)` 组合近似目标语义，并把替代路径以 TODO 形式传递给上游，体现了务实的上游协同方式。对计划优化 separate_async 资源利用率、或在自研 rollout 引擎上做「借卡」能力的工程师，本 PR 是很好的参考实现。