新增 Qwen3.5-9B 模型配置与全异步示例
该 PR 适合希望快速上手 Qwen3.5-9B 全异步训练的用户参考。对于核心开发者,可快速阅读以了解模型配置格式,无深度设计决策需要关注。
slime is an LLM post-training framework for RL Scaling.
新增 Qwen3.5-9B 模型配置与全异步示例
该 PR 适合希望快速上手 Qwen3.5-9B 全异步训练的用户参考。对于核心开发者,可快速阅读以了解模型配置格式,无深度设计决策需要关注。
balance_by_flops 全面接管平衡调度
推荐阅读 `dp_schedule.py` 的调度逻辑变更,该 PR 体现了实际 FLOPs 建模优于简单 token 计数的设计思路,对性能敏感训练有意义。
移除未使用的 calculate_workload 函数
建议快速合并。清理死代码是良好的工程实践,该 PR 本身低风险、价值明确。值得关注的设计决策:无。
原始 PR · 作者 HaoDong0027 · 合并时间 2026-06-06 23:01
引入 FLOPs 感知的微批次调度
值得精读,尤其是调度策略的权衡:token 平衡 vs FLOPs 平衡、近似公式 vs 精确计算。设计清晰,扩展性好。合并者计划将其作为默认调度策略,表明该设计符合长期演进方向。
新增 external-rollout-engines 中英文文档
Read if you are considering external rollout engines or need to choose between --sglang-config and --rollout-external-engine-addrs.
支持完整权重磁盘同步模式
值得精读,尤其关注 `UpdateWeightFromDisk` 的同步流程和参数兼容性设计。配套测试可作为集成测试参考。
多节点并行写入HF权重shard文件
本 PR 的设计模式值得精读 —— 通过分片和最终合并的思路实现分布式写入,可推广至其他需要并行写入文件的场景。作者在每个关键决策点(文件名唯一、state 合并排序)都做了防御性检查,代码质量较高。需要关注的是如何与外部引擎地址配置协同工作,可参考 #2016。
全量支持 --rollout-external-engine-addrs 外部引擎
建议精读 `slime/backends/sglang_utils/external.py` 的设计,特别是如何通过 HTTP 自发现外部引擎属性并动态注册到路由器。`slime/ray/placement_group.py` 中外部引擎模式的 GPU 布局调整值得关注,这是将外部资源融入 Ray 集群的典型案例。`slime/backends/sglang_utils/sglang_engine.py` 中的路由器注册重构也值得参考。
参与讨论