verl: Volcano Engine Reinforcement Learning for LLMs
原始 PR · 作者 ETOgaosion · 合并时间 2026-06-18 10:44
升级 numpy、vLLM、NCCL，修复依赖错误
建议精读此 PR 以了解 verl 依赖管理策略，尤其是 vLLM 补丁应用模式和 NCCL 覆盖方法。对于涉及 NumPy 2.0 迁移的贡献者，需关注 `protocol.py` 中的修改模式。
在 Megatron 后端实现分块熵计算以降低显存峰值
值得精读，特别是分块熵在张量并行环境下的实现方式，以及如何在多个 engine 后端统一扩展配置。关注其通过配置开关优雅降级的设计，以及 review 中关于 dtype 和参数传递的问题修复。
原始 PR · 作者 tardis-key · 合并时间 2026-06-18 09:20
降低 rollout GPU 内存利用率以修复 OOM
该 PR 值得快速合并，以提升 CI 稳定性。变更内容清晰，无需精读。
为 Tinker 工作器添加优化器步骤参数覆盖
值得从设计层面关注的问题：为何将参数覆盖限定在 Tinker worker 层而非 engine API（保持 engine 通用性）。类型校验的严格程度（当前选择快速失败而非隐式转换）是一个典型的设计权衡。建议在集成 Tinker 工作流时注意参数类型正确性，并考虑为 Megatron 等后端补充类似的集成测试。
新增 Megatron Lite 后端示例脚本与文档
建议：对使用 Megatron Lite 进行大规模 RL 训练的团队，精读文档和启动脚本，特别是网格配置和优化器选择（fsdp2 vs dist_opt）。命名检查的修改展示了如何优雅扩展多 token 后端后缀，值得参考。
更新 OPD 文档的参考文献编号
该 PR 属于简单的文档清理，无需精读。但其 review 过程展示了自动化 review 工具对引用一致性的检查能力，值得注意。
原始 PR · 作者 huaiyizhao · 合并时间 2026-06-17 22:30
将 vision info 处理卸到线程池避免阻塞事件循环
该 PR 思路正确，改动清晰。建议后续补充对 `process_multi_modal_info` 的同类修复以彻底解决问题。PR 值得快速合入。
修复分离异步 trainer 并启用运行
值得关注：这是分离异步训练器从 stub 变为可运行的关键一步，但功能仍不完整，建议跟进后续 PR 了解完整方案。设计中采用 `start_rank` 传递副本起始编号的做法可作参考。
参与讨论