Prhub

THUDM/slime

slime is an LLM post-training framework for RL Scaling.

监控状态:已开启 最近同步:2026-09-18 14:47 同步状态:空闲 下次计划:2026-09-18 15:47

PR 列表

更多筛选
2026-05-23
缺陷修复 重要性 4.88 洞察度 4.00

修复 debug-train-only 模式下 spec metrics 读取失败 bug

建议立即合并。这是一个低风险、高价值的 bugfix,修复了文档中明确推荐的调试模式中的崩溃问题。虽然改动微小,但解决了实际痛点,值得注意其防御性编程模式(使用 `getattr` 处理可选命令行参数)。

2026-05-21
功能 重要性 7.20 洞察度 5.00

支持训练过程中动态变化的全局 batch size

值得精读,尤其关注 loss scaling 和 LR increment 的传递链路;对于参与训练核心开发的同学,理解 `global_batch_sizes` 的引入意图对后续合入 uneven-DP 特性很有帮助。

#1932 save host menmroy

原始 PR · 作者 lilei199908 · 合并时间 2026-05-21 16:13

缺陷修复 重要性 5.03 洞察度 3.00

调换配置项赋值顺序以节省主机内存

建议融合,修复明确,改动极小。可作为配置逻辑正确性的教学案例。

2026-05-20
性能优化 重要性 9.13 洞察度 6.00

将微批次调度从训练侧移至rollout侧,全局优化bin packing。

值得精读,特别是 `slime/utils/dp_schedule.py` 的设计思路和 `tests/test_dp_schedule.py` 中不变量断言。需要关注: - 如何将纯逻辑从框架依赖中拆解出来(纯函数 + CPU 测试)。 - `expand_bins_by_splitting` 如何保持 bin 容量约束。 - 统一 static 和 dynamic 路径的 `micro_batch_indices` 数据契约。

2026-05-19

#1924 Reduce host memory with upgraded tms

原始 PR · 作者 zhuzilin · 合并时间 2026-05-19 21:19

性能优化 重要性 6.88 洞察度 4.00

升级 torch_memory_saver 减少主机内存占用

推荐精读,特别是 megatron.patch 中如何通过 TMS 的 region 替换现有缓冲区分配逻辑、以及 disable_grad_buffers_cpu_backup 与 nccl_ub 的互斥设计。该 PR 展示了深度集成第三方内存管理库以优化训练内存的典型模式。

#1921 Add example for streaming output

原始 PR · 作者 zhuzilin · 合并时间 2026-05-19 10:13

功能 重要性 7.63 洞察度 5.00

新增流式生成示例,支持 abort 时保留部分状态

建议阅读 `slime/rollout/sglang_streaming_rollout.py` 中基于 base snapshot + chunk delta 的增量状态累加设计,该模式在需要中断恢复的场景下值得推广。

2026-05-18

#1920 Move fully_async example to main codebase

原始 PR · 作者 zhuzilin · 合并时间 2026-05-18 19:46

功能 重要性 9.00 洞察度 5.00

将 fully_async rollout 从示例迁移至主代码库,新增 slime.rollout.fully_async_rollout 模块

值得精读,展示了如何将实验性代码正式合入主库的标准化流程:代码迁移、类型标注增强、测试配套、文档更新、CI 集成。其中全局 worker 单例和 ABORTED 样本重定向的设计值得借鉴。

#1919 add critic wandb config

原始 PR · 作者 lilei199908 · 合并时间 2026-05-18 18:55

功能 重要性 6.80 洞察度 4.00

为 critic 角色添加独立的 W&B 配置记录

此 PR 代码清晰,改动集中,无显著风险。推荐合并后同步更新用户文档,说明 W&B 配置记录的变更。

参与讨论