Prhub

THUDM/slime

slime is an LLM post-training framework for RL Scaling.

监控状态:已开启 最近同步:2026-09-18 14:47 同步状态:空闲 下次计划:2026-09-18 15:47

PR 列表

更多筛选
2026-06-08
功能 重要性 4.57 洞察度 2.00

新增 Qwen3.5-9B 模型配置与全异步示例

该 PR 适合希望快速上手 Qwen3.5-9B 全异步训练的用户参考。对于核心开发者,可快速阅读以了解模型配置格式,无深度设计决策需要关注。

2026-06-06

#2029 use balance_by_flops as balance data across mbs

原始 PR · 作者 zhuzilin · 合并时间 2026-06-06 23:51

功能 重要性 6.58 洞察度 6.00

balance_by_flops 全面接管平衡调度

推荐阅读 `dp_schedule.py` 的调度逻辑变更,该 PR 体现了实际 FLOPs 建模优于简单 token 计数的设计思路,对性能敏感训练有意义。

#2028 remove abundant function

原始 PR · 作者 zhuzilin · 合并时间 2026-06-06 23:03

重构 重要性 5.25 洞察度 2.00

移除未使用的 calculate_workload 函数

建议快速合并。清理死代码是良好的工程实践,该 PR 本身低风险、价值明确。值得关注的设计决策:无。

功能 重要性 6.78 洞察度 6.00

引入 FLOPs 感知的微批次调度

值得精读,尤其是调度策略的权衡:token 平衡 vs FLOPs 平衡、近似公式 vs 精确计算。设计清晰,扩展性好。合并者计划将其作为默认调度策略,表明该设计符合长期演进方向。

2026-06-05

#2022 Add docs for external servers

原始 PR · 作者 zhuzilin · 合并时间 2026-06-05 14:03

文档 重要性 4.36 洞察度 2.00

新增 external-rollout-engines 中英文文档

Read if you are considering external rollout engines or need to choose between --sglang-config and --rollout-external-engine-addrs.

#2021 Support update_from_disk

原始 PR · 作者 zhuzilin · 合并时间 2026-06-05 11:55

功能 重要性 9.18 洞察度 6.00

支持完整权重磁盘同步模式

值得精读,尤其关注 `UpdateWeightFromDisk` 的同步流程和参数兼容性设计。配套测试可作为集成测试参考。

2026-06-04

#2020 Accelerate raw HF save with node writers

原始 PR · 作者 zhuzilin · 合并时间 2026-06-04 23:36

性能优化 重要性 7.92 洞察度 6.00

多节点并行写入HF权重shard文件

本 PR 的设计模式值得精读 —— 通过分片和最终合并的思路实现分布式写入,可推广至其他需要并行写入文件的场景。作者在每个关键决策点(文件名唯一、state 合并排序)都做了防御性检查,代码质量较高。需要关注的是如何与外部引擎地址配置协同工作,可参考 #2016。

#2016 Fully support --rollout-external-engine-addrs

原始 PR · 作者 zhuzilin · 合并时间 2026-06-04 22:05

功能 重要性 9.36 洞察度 7.00

全量支持 --rollout-external-engine-addrs 外部引擎

建议精读 `slime/backends/sglang_utils/external.py` 的设计,特别是如何通过 HTTP 自发现外部引擎属性并动态注册到路由器。`slime/ray/placement_group.py` 中外部引擎模式的 GPU 布局调整值得关注,这是将外部资源融入 Ray 集群的典型案例。`slime/backends/sglang_utils/sglang_engine.py` 中的路由器注册重构也值得参考。

参与讨论