修复轨迹合并逻辑,简化 middleware 损失掩码计算
建议精读 `slime/agent/trajectory.py` 中 `merge_turns` 的 common_prefix 对齐设计,该模式可推广至其他序列拼接场景。注意检查下游代码对 `output_loss_mask` 的依赖,并及时适配 `output_log_probs`。新增测试用例可作为后续修改的回归保障。
slime is an LLM post-training framework for RL Scaling.
修复轨迹合并逻辑,简化 middleware 损失掩码计算
建议精读 `slime/agent/trajectory.py` 中 `merge_turns` 的 common_prefix 对齐设计,该模式可推广至其他序列拼接场景。注意检查下游代码对 `output_loss_mask` 的依赖,并及时适配 `output_log_probs`。新增测试用例可作为后续修改的回归保障。
修复 forge_load.py 的 lint 风格问题
可直接合入。对仓库贡献者有一定参考价值在于展示了该仓库期望的代码风格规范。
原始 PR · 作者 jingshenghang · 合并时间 2026-05-27 16:02
修复 SWE RL rollout 关闭时的竞态崩溃
该 PR 值得精读,尤其对于需要在异步服务中实现优雅关闭的场景。其设计模式(模块级 inflight 追踪 + 墓碑 + 多层 drain)可以复用。建议关注 _handle_request 中的 try/finally 结构,确保异常安全。此外,考虑在未来将 settle_sec 和 flush_cache 的超时参数化,便于调优。
新增 forge_load 重放 rollout dump 且保持 sglang 运行
建议负责内存测试和 rollout 框架的团队成员精读此 PR,了解 forge_load 的设计细节及如何用于内存测试。值得关注的设计决策:eval 没有 fallback 以防止静默数据错配;不修改 sample.rollout_id 以保持分组正确;与 --load-debug-rollout-data 的战略分工。
新增 Agent RL 文档与路线图
值得精读。尤其是 customization.md 中关于 custom_generate 返回多个样本的契约(共享 rollout_id)和奖励分配模式,是设计 agent 训练的重要决策。
抽取 coding_agent_rl 通用工具到核心 agent 模块
建议代码审查者重点关注 trajectory.py 中 merge_turns 的多轮对齐逻辑和 parsing.py 的工具调用解析路径,确保与原有行为一致。值得阅读的设计决策包括将配置从环境变量迁移到 args 的统一管理方式。
原始 PR · 作者 jingshenghang · 合并时间 2026-05-27 13:52
修复 flush_cache 非 200 响应时缺少日志和退避问题
值得快速合并,属于防御性改进。修复了静默错误和无效重试,提升系统可观测性和稳定性。
原始 PR · 作者 lilei199908 · 合并时间 2026-05-27 12:32
禁用参数CPU备份以节省主机内存
该PR值得性能优化工程师和训练系统开发者关注,尤其是如何通过禁用不必要的CPU备份来节省内存的设计决策,以及对Megatron底层补丁的实现技巧。
参与讨论