verl: Volcano Engine Reinforcement Learning for LLMs
原始 PR · 作者 SamitHuang · 合并时间 2026-04-29 13:49
迁移 Diffusion RL 栈至独立仓库(verl-omni)
建议读者仔细阅读 PR 的变更集，了解如何将实验性功能模块化并分离到独立仓库。对于想要维护类似解耦操作的团队，此 PR 提供了清晰的参照。
原始 PR · 作者 HollowMan6 · 合并时间 2026-04-29 11:13
转换 grad_norm 为标量避免 Ray 序列化崩溃
建议合并，改动小而精确。可考虑在类似度量（如 `lr`）上也做防御性转换以增加鲁棒性。
原始 PR · 作者 tardis-key · 合并时间 2026-04-29 10:57
移除 actor.dump_memory_snapshot 调用
值得关注此 PR 背后的 DistProfiler 统一化方向，但当前变更简单，不需要深度精读。建议确认 diffusion 训练器的 DistProfiler 支持是否已到位，避免用户困惑。
原始 PR · 作者 HollowMan6 · 合并时间 2026-04-29 10:11
放宽优化器设备独立检查
该 PR 改动虽小，但体现了一个重要的设计权衡：优化器与模型参数的设备管理可以解耦。值得关注的是，未来可能需要对 `BaseEngine` 的子类（如 fsdp、megatron 实现）做相应的适配。建议增加测试覆盖。
原始 PR · 作者 Pengxiang-Li · 合并时间 2026-04-28 22:48
README 添加 DART-GUI 项目引用
此 PR 属于简单的文档补充，无需精读。可关注其未采纳 review 建议的一致性改进。
为 Ascend NPU 新增 sglang CI 工作流
该 PR 是基础设施常规变更，不值得精读，但值得关注其触发条件设计和镜像选择策略，可作为后续新增 NPU 工作流的模板。
原始 PR · 作者 pengnuoheng · 合并时间 2026-04-27 22:04
为 Ascend CI 作业切换至 A3 节点并更新镜像
无需精读，是标准的基础设施迁移维护。
分块传输大权重，降低权重同步峰值内存
推荐本 PR 精读，尤其是 `split_weight_chunks` 与 `merge_weight_chunks` 的抽象设计，以及 `_direct_send_large_weight` 绕过 buffer 的策略。这是一次典型的内存优化 trade-off：通过分块传输降低峰值，但增加了实现复杂度和类型安全风险。建议在合并后尽快修复 review 中提出的 GPU 同步和类型注解问题。对于部署超大模型（>100B）的团队，应配合 `update_weights_bucket_megabytes` 调优。
参与讨论