Prhub

THUDM/slime

slime is an LLM post-training framework for RL Scaling.

监控状态:已开启 最近同步:2026-09-18 14:47 同步状态:空闲 下次计划:2026-09-18 15:47

PR 列表

更多筛选
2026-03-22
缺陷修复 重要性 5.00 洞察度 4.00

修复DeepseekV32Bridge在transformers 5.x下rope_theta解析问题,确保模型兼容性。

对于处理transformers兼容性或DeepseekV32模型的开发者,建议阅读此PR以了解属性解析模式。设计决策如使用hasattr和getattr是值得学习的兼容性处理技巧。

缺陷修复 重要性 6.00 洞察度 4.00

修复bridge模式中moe_token_dispatcher_type传播缺失导致的ValueError错误。

对于使用bridge模式的开发者,此PR值得快速查看以理解参数传播机制和向后兼容性处理;关注hasattr的使用方式,可作为类似场景的参考。

#1742 Support qwen3.5 loss mask for multi-turn SFT

原始 PR · 作者 huang3eng · 合并时间 2026-03-22 16:24

功能 重要性 6.00 洞察度 6.00

为 Qwen3.5 添加专用的多轮 SFT 损失掩码,修复兼容性问题并优化训练效率。

建议精读 `slime/utils/mask_utils.py` 中的 `gen_multi_turn_loss_mask_qwen3_5` 函数,学习其基于 `offset_mapping` 的 token 级监督推导方法,以及验证 tokenization 一致性的设计。对于涉及多轮对话 SFT 的开发者,此 PR 提供了处理聊天模板差异的参考方案。

文档 重要性 3.00 洞察度 2.00

更新MTP示例配置,将GLM-4.5重命名为GLM-4.7,并清理相关脚本。

对于技术管理者,此PR无需精读代码,但建议关注文档变更的传播和用户通知。对于工程师,可参考更新的配置参数(如并行设置和投机解码)以优化自己的部署,但需注意脚本兼容性风险。

缺陷修复 重要性 6.00 洞察度 6.00

修复序列并行和模型并行中线性注意力层梯度错误膨胀的问题。

建议精读此 PR,特别是 `_AllGatherForDuplicatedComputation` 的设计,它展示了在分布式训练中处理重复计算时避免梯度膨胀的技巧。对于涉及并行计算、注意力机制或模型配置的开发人员,此变更值得深入理解以应用于相关场景。

2026-03-21

#1747 always enable_metrics and remove dp context

原始 PR · 作者 zhuzilin · 合并时间 2026-03-21 23:59

重构 重要性 6.00 洞察度 4.00

总是启用SGLang Prometheus指标并移除数据并行上下文管理。

建议工程师精读sglang_rollout.py的变更,特别是dp_rank_context的移除对负载分配的影响,同时检查metrics启用后系统性能。关注设计决策从动态负载平衡到静态或无平衡的转变,并考虑是否需要补充测试覆盖。

功能 重要性 6.00 洞察度 5.00

新增 placeholder worker 类型、调整指标路由时机并扩展 GPQA 字母范围。

建议精读 slime/ray/rollout.py 中的 _get_metrics_router_addr 方法和 nodes_per_engine 逻辑变更,以理解 placeholder worker 类型支持的设计和指标路由调整时机。同时,查看 slime/router/router.py 的枚举变更以掌握新的 worker type 定义,这对配置服务器组有参考价值。

#1745 feat: GLM4V multimodal support improvements

原始 PR · 作者 zhuzilin · 合并时间 2026-03-21 23:32

功能 重要性 6.00 洞察度 6.00

改进GLM4V多模态支持,增强图像处理和训练兼容性。

建议工程师精读此PR,特别是处理多模态输入和处理器兼容性的部分,以了解如何集成新模型和处理边缘情况,关注图像嵌入选择和回退逻辑的设计决策。

参与讨论