Prhub

THUDM/slime

slime is an LLM post-training framework for RL Scaling.

监控状态:已开启 最近同步:2026-09-18 14:47 同步状态:空闲 下次计划:2026-09-18 15:47

PR 列表

更多筛选
2026-08-12
缺陷修复 重要性 5.64 洞察度 5.00

修复校验覆写显式 --start-rollout-id 参数的问题

值得快速审阅,属于典型的参数覆盖 bugfix,修改直观且测试覆盖良好。可关注参数校验的既定设计,以及后续是否有类似被无条件覆盖的 fallback 参数。

缺陷修复 重要性 7.47 洞察度 6.00

修复 CP 下 advantage 归一化错用进程组的问题

值得精读。核心改动只有一行进程组参数与一处守卫删除,但 PR body 提供了完整的根因分析、数值验证和死锁论证,展示了分布式训练中集体操作进程组语义的调试方法论。测试设计(gloo 多进程 + 枚举 DP/CP 分解 + 空 mask 场景 + 有界 join)是分布式回归测试的范例,可复用到其他跨 rank 统计逻辑。建议重点关注 `loss.py` 中 `distributed_masked_whiten` 调用段及其注释,以及测试对空 mask 场景的处理。

缺陷修复 重要性 7.56 洞察度 6.00

修复 --log-correct-samples 在 DP>1 下的 IndexError 与错配

值得精读。这是一个典型的“全局与本地数据视图分离”的 bugfix,修复思路清晰:不破坏 pass@k 的全局分组需求,而是新增位置对齐的本地视图。重点关注 slime/utils/data.py 中 local_raw_reward 的派生方式、log_rollout_data 中的消费变更,以及测试对 dp1-permuted 的覆盖——这揭示了 first-fit packing 下 DP=1 也会错配的隐蔽点。附带的发现(--log-correct-samples 指标从未输出)值得跟进,但不在本 PR 内解决。

缺陷修复 重要性 7.13 洞察度 5.00

修复 `exec_and_wait` 同 tag 二次调用静默复用旧结果的问题

该 PR 值得精读,尤其是根因分析和修复取舍:`mkdir` guard 的传输级去重与逻辑调用级清理如何解耦。对于依赖 `exec_and_wait` 的 agent 代码,建议检查是否有同 tag 重叠调用的隐患,并确认第三方 sandbox 实现已接受 `idempotent` 参数。测试中的 `ShellFakeSandbox` 设计(解释 shell 字符串而非逐命令 mock)也值得借鉴。

缺陷修复 重要性 6.18 洞察度 5.00

修复 load_other_checkpoint 未还原 args.ckpt_step 导致后续加载错迭代

建议合入此修复,因为它修复了一个静默的错误权重加载问题,且改动简单、逻辑清晰。值得关注的设计是使用 `old_args` 元组统一保存和还原多个参数,这是该模式的一次合理扩展,也提示团队在未来修改 `load_other_checkpoint` 时注意参数生命周期的管理。

缺陷修复 重要性 4.97 洞察度 3.00

修复外部引擎 debug_rollout_only 下 placement group 崩溃

该 PR 属于针对特定调试模式的 bugfix,建议合入。虽然代码变更简单,但涉及 placement group 布局,可能影响训练资源分配,值得快速审查。可关注后续是否有类似组合的其他布局问题。

缺陷修复 重要性 5.73 洞察度 3.00

修复多head MTP训练日志崩溃

该PR值得精读,因为它修复了多head MTP训练的关键bug。设计决策上,采用保留向量并分别记录每个head loss的方式,为后续分析提供了更细粒度的信息。建议补充单元测试覆盖多head MTP场景,防止回归。

#2189 [Doc] Clarify PPO/Critic docs after #1856

原始 PR · 作者 coding-famer · 合并时间 2026-08-12 13:41

文档 重要性 2.97 洞察度 2.00

澄清 PPO/Critic 文档:共享 GPU 与 --megatron-config-path

值得快速浏览,重点是 PPO 资源分配的新说明和 --megatron-config-path 的角色覆盖方式;纯文档变更,无需精读,但可作为配置 PPO 时的参考手册。

参与讨论