verl-project/verl

重构FSDP+LoRA分层召唤，降低显存并修复死锁

该 PR 值得所有深入使用 FSDP+LoRA 训练的用户精读，尤其是 `layered_summon_lora_params` 的设计思路和 wrap 策略防护逻辑。建议结合具体模型进行回归测试，验证显存与训练稳定性。对于重复 all-gather 的风险，可在升级后仍保持监控，必要时在内部 fork 中进一步优化。

升级 numpy、vLLM、NCCL，修复依赖错误

建议精读此 PR 以了解 verl 依赖管理策略，尤其是 vLLM 补丁应用模式和 NCCL 覆盖方法。对于涉及 NumPy 2.0 迁移的贡献者，需关注 `protocol.py` 中的修改模式。

在 Megatron 后端实现分块熵计算以降低显存峰值

值得精读，特别是分块熵在张量并行环境下的实现方式，以及如何在多个 engine 后端统一扩展配置。关注其通过配置开关优雅降级的设计，以及 review 中关于 dtype 和参数传递的问题修复。

降低 rollout GPU 内存利用率以修复 OOM

该 PR 值得快速合并，以提升 CI 稳定性。变更内容清晰，无需精读。

为 Tinker 工作器添加优化器步骤参数覆盖

值得从设计层面关注的问题：为何将参数覆盖限定在 Tinker worker 层而非 engine API（保持 engine 通用性）。类型校验的严格程度（当前选择快速失败而非隐式转换）是一个典型的设计权衡。建议在集成 Tinker 工作流时注意参数类型正确性，并考虑为 Megatron 等后端补充类似的集成测试。

新增 Megatron Lite 后端示例脚本与文档

建议：对使用 Megatron Lite 进行大规模 RL 训练的团队，精读文档和启动脚本，特别是网格配置和优化器选择（fsdp2 vs dist_opt）。命名检查的修改展示了如何优雅扩展多 token 后端后缀，值得参考。

更新 OPD 文档的参考文献编号

该 PR 属于简单的文档清理，无需精读。但其 review 过程展示了自动化 review 工具对引用一致性的检查能力，值得注意。

将 vision info 处理卸到线程池避免阻塞事件循环

该 PR 思路正确，改动清晰。建议后续补充对 `process_multi_modal_info` 的同类修复以彻底解决问题。PR 值得快速合入。