修复DeepseekV32Bridge在transformers 5.x下rope_theta解析问题,确保模型兼容性。
对于处理transformers兼容性或DeepseekV32模型的开发者,建议阅读此PR以了解属性解析模式。设计决策如使用hasattr和getattr是值得学习的兼容性处理技巧。
slime is an LLM post-training framework for RL Scaling.
修复DeepseekV32Bridge在transformers 5.x下rope_theta解析问题,确保模型兼容性。
对于处理transformers兼容性或DeepseekV32模型的开发者,建议阅读此PR以了解属性解析模式。设计决策如使用hasattr和getattr是值得学习的兼容性处理技巧。
原始 PR · 作者 nanjiangwill · 合并时间 2026-03-22 16:25
修复bridge模式中moe_token_dispatcher_type传播缺失导致的ValueError错误。
对于使用bridge模式的开发者,此PR值得快速查看以理解参数传播机制和向后兼容性处理;关注hasattr的使用方式,可作为类似场景的参考。
为 Qwen3.5 添加专用的多轮 SFT 损失掩码,修复兼容性问题并优化训练效率。
建议精读 `slime/utils/mask_utils.py` 中的 `gen_multi_turn_loss_mask_qwen3_5` 函数,学习其基于 `offset_mapping` 的 token 级监督推导方法,以及验证 tokenization 一致性的设计。对于涉及多轮对话 SFT 的开发者,此 PR 提供了处理聊天模板差异的参考方案。
更新MTP示例配置,将GLM-4.5重命名为GLM-4.7,并清理相关脚本。
对于技术管理者,此PR无需精读代码,但建议关注文档变更的传播和用户通知。对于工程师,可参考更新的配置参数(如并行设置和投机解码)以优化自己的部署,但需注意脚本兼容性风险。
修复序列并行和模型并行中线性注意力层梯度错误膨胀的问题。
建议精读此 PR,特别是 `_AllGatherForDuplicatedComputation` 的设计,它展示了在分布式训练中处理重复计算时避免梯度膨胀的技巧。对于涉及并行计算、注意力机制或模型配置的开发人员,此变更值得深入理解以应用于相关场景。
总是启用SGLang Prometheus指标并移除数据并行上下文管理。
建议工程师精读sglang_rollout.py的变更,特别是dp_rank_context的移除对负载分配的影响,同时检查metrics启用后系统性能。关注设计决策从动态负载平衡到静态或无平衡的转变,并考虑是否需要补充测试覆盖。
新增 placeholder worker 类型、调整指标路由时机并扩展 GPQA 字母范围。
建议精读 slime/ray/rollout.py 中的 _get_metrics_router_addr 方法和 nodes_per_engine 逻辑变更,以理解 placeholder worker 类型支持的设计和指标路由调整时机。同时,查看 slime/router/router.py 的枚举变更以掌握新的 worker type 定义,这对配置服务器组有参考价值。
改进GLM4V多模态支持,增强图像处理和训练兼容性。
建议工程师精读此PR,特别是处理多模态输入和处理器兼容性的部分,以了解如何集成新模型和处理边缘情况,关注图像嵌入选择和回退逻辑的设计决策。
参与讨论