回滚序列长度平衡分区的后备机制,恢复原始分区算法。
该PR值得关注,因为它回滚了一个重要的内存安全机制。建议精读以理解回滚动机,并关注后续是否会有更稳健的分区方案。
slime is an LLM post-training framework for RL Scaling.
回滚序列长度平衡分区的后备机制,恢复原始分区算法。
该PR值得关注,因为它回滚了一个重要的内存安全机制。建议精读以理解回滚动机,并关注后续是否会有更稳健的分区方案。
原始 PR · 作者 lilei199908 · 合并时间 2026-04-20 13:59
修复熵计算在allgather-CP路径下返回None而非空张量的错误,并移除未使用参数。
该PR值得精读,重点关注: 1. 熵提取逻辑在allgather-CP路径下的修复,展示了分布式训练中边界条件处理的重要性。 2. 类型系统与运行时行为的一致性设计,可作为处理可选返回值模式的参考。 3. 代码简化策略,通过内联辅助函数减少抽象层,提升可读性。
修复构建脚本中cuda-python版本与CUDA 12.9环境不匹配的问题。
该PR变更简单直接,适合快速浏览以了解构建脚本的版本对齐问题。对于维护构建脚本或关注环境一致性的开发者,值得关注此修正以确保依赖链正确。
原始 PR · 作者 mathewjhan · 合并时间 2026-04-16 11:14
修复多智能体场景下评估日志记录时对列表类型样本的处理错误。
该 PR 值得快速浏览,特别是对于处理多智能体或异步生成场景的开发者。关注点在于如何优雅地处理函数返回类型的多态性,避免硬编码假设。
原始 PR · 作者 coding-famer · 合并时间 2026-04-15 14:37
修复权重转换工具中补充缺失权重时错误使用CUDA设备的问题。
该PR代码变更简单明了,适合快速了解权重转换工具的设备处理逻辑。值得关注的是工具设计中设备选择的考量:在离线预处理任务中优先保证兼容性而非性能。
原始 PR · 作者 Yangruipis · 合并时间 2026-04-15 13:48
在README的知名项目列表中添加Relax异步RL引擎条目。
该PR变更简单,无需精读。对于想了解slime生态应用或Relax项目的读者,可快速浏览新增条目。无复杂设计决策需要关注。
为序列长度平衡分区添加后备机制,防止分区超出GPU内存限制。
该PR值得精读,特别是关注_get_capped_partitions算法的设计决策(first-fit与令牌上限)以及VPP microbatches计算调整的逻辑。建议工程师在涉及VPP或长序列训练时验证后备机制的有效性,并考虑补充单元测试以覆盖边界情况。
移除熵计算中的no_grad上下文,修复DSA模式下通信卡死问题。
建议技术管理者和核心工程师精读此PR,重点关注: 1. 熵计算梯度保留的设计决策,理解DSA通信机制的特殊要求。 2. 分布式张量重建逻辑中对None值的处理方式,确保边缘场景覆盖。 3. 结合近期PR #1788(修复loss oom)和 #1762(修复grad_norm初始化)一起分析,这些PR都涉及损失计算和梯度处理的底层优化。
参与讨论