#2017 feat: add --balance-by-flops for FLOPs-balanced micro-batching
原始 PR · 作者 HaoDong0027 · 合并时间 2026-06-06 23:01
引入 FLOPs 感知的微批次调度
值得精读,尤其是调度策略的权衡:token 平衡 vs FLOPs 平衡、近似公式 vs 精确计算。设计清晰,扩展性好。合并者计划将其作为默认调度策略,表明该设计符合长期演进方向。
slime is an LLM post-training framework for RL Scaling.
原始 PR · 作者 HaoDong0027 · 合并时间 2026-06-06 23:01
引入 FLOPs 感知的微批次调度
值得精读,尤其是调度策略的权衡:token 平衡 vs FLOPs 平衡、近似公式 vs 精确计算。设计清晰,扩展性好。合并者计划将其作为默认调度策略,表明该设计符合长期演进方向。
新增 external-rollout-engines 中英文文档
Read if you are considering external rollout engines or need to choose between --sglang-config and --rollout-external-engine-addrs.
支持完整权重磁盘同步模式
值得精读,尤其关注 `UpdateWeightFromDisk` 的同步流程和参数兼容性设计。配套测试可作为集成测试参考。
多节点并行写入HF权重shard文件
本 PR 的设计模式值得精读 —— 通过分片和最终合并的思路实现分布式写入,可推广至其他需要并行写入文件的场景。作者在每个关键决策点(文件名唯一、state 合并排序)都做了防御性检查,代码质量较高。需要关注的是如何与外部引擎地址配置协同工作,可参考 #2016。
全量支持 --rollout-external-engine-addrs 外部引擎
建议精读 `slime/backends/sglang_utils/external.py` 的设计,特别是如何通过 HTTP 自发现外部引擎属性并动态注册到路由器。`slime/ray/placement_group.py` 中外部引擎模式的 GPU 布局调整值得关注,这是将外部资源融入 Ray 集群的典型案例。`slime/backends/sglang_utils/sglang_engine.py` 中的路由器注册重构也值得参考。
撤销 rollout_id 到 group_id 的重命名
建议阅读者注意该 PR 与 #1984 的关联,确保后续开发基于正确的命名。同时关注合并冲突的解决。如果之前使用了 `group_id` 的新 API,需要及时迁移回 `rollout_id`。
原始 PR · 作者 Jiang020609 · 合并时间 2026-06-01 16:49
保留多智能体 rollout logprobs
可直接合并。修复了 issue 中报告的问题,代码简洁且与主框架的 rollout 实现一致。
增加 Ray 分布式调试器单步调试教程
建议开发者精读该文档,特别是需要调试分布式训练场景时。文档步骤清晰,可操作性强。合并者快速批准也说明内容可靠。
参与讨论