在conda构建脚本中添加自定义sgl-router安装命令以支持R3功能。
该PR变更简单直接,无需深入代码审查。建议: 1. **基础设施维护者**:关注该行命令的长期维护,未来sgl-router更新时需同步更新版本。 2. **新用户**:如果遇到conda环境构建问题,可检查该依赖安装是否成功。 3. **架构学习者**:可结合PR #1773(移除slime_router)和PR #1770(切换Docker依赖)理解完整的router架构迁移脉络。
slime is an LLM post-training framework for RL Scaling.
在conda构建脚本中添加自定义sgl-router安装命令以支持R3功能。
该PR变更简单直接,无需深入代码审查。建议: 1. **基础设施维护者**:关注该行命令的长期维护,未来sgl-router更新时需同步更新版本。 2. **新用户**:如果遇到conda环境构建问题,可检查该依赖安装是否成功。 3. **架构学习者**:可结合PR #1773(移除slime_router)和PR #1770(切换Docker依赖)理解完整的router架构迁移脉络。
修复Megatron训练中found_inf=True时grad_norm未初始化导致的UnboundLocalError。
该PR变更简单直接,适合快速浏览以了解Megatron训练中异常处理机制。值得关注的是,它揭示了梯度检查与训练步骤之间的耦合关系,以及如何通过变量初始化避免边界条件错误。对于维护类似训练循环的工程师有参考价值。
原始 PR · 作者 peterjc123 · 合并时间 2026-04-07 14:56
在权重转换工具中添加从原始HF检查点补充缺失权重的功能,提升Qwen3.5模型转换完整性。
该PR值得关注其设计思路:通过维护已转换权重名称集合和从原始检查点补充缺失项的方式,优雅地解决了部分权重转换问题。建议精读save_tensors函数中新增的权重补充逻辑,理解其如何保持转换完整性同时避免重复。
修复GPT模型前向传播中position_ids参数缺失导致的TypeError。
该PR值得快速浏览以了解回归修复模式。关注点: 1. 学习如何通过添加默认参数(position_ids: None)解决前向签名不匹配问题。 2. 结合PR #1807分析重构引入的副作用,理解Megatron模型前向参数构建的演进。 3. 对于涉及核心训练路径的变更,建议补充单元测试以避免类似回归。
添加NPU补丁以支持Qwen3-VL-8B模型的GRPO和PPO训练。
该PR值得精读,特别是对于涉及硬件适配或多模态训练的工程师。重点关注: 1. `slime.patch`中的资源分配逻辑变更,如Ray API替换,这可能影响分布式训练稳定性。 2. 补丁中的手动代码替换(如cuda→npu),需理解其背后的兼容性设计决策。 3. 环境配置和版本依赖,以评估部署可行性。建议结合README.md进行实操验证。
重构Megatron模型forward参数构建逻辑,提升多模态训练兼容性。
该PR值得精读,尤其是关注forward_kwargs字典构建模式的设计决策。这种重构提升了代码可维护性,并为多模态输入扩展提供了更清晰的接口。建议结合PR #1760(多模态OPD支持)理解上下文。
同步内部代码,优化多模态模型支持和 SGLang rollout 数据并行平衡。
建议工程师精读以下部分: - slime/backends/megatron_utils/model_provider.py 中的可调用 spec 处理,了解如何扩展模型支持以适配新架构。 - slime/rollout/sglang_rollout.py 的 dp_rank_context 实现,学习负载均衡设计模式。 关注风险点,确保在测试环境中验证新功能,并考虑补充相关单元测试。
原始 PR · 作者 lilei199908 · 合并时间 2026-04-04 23:41
修复损失计算内存溢出,优化PPO熵计算和Megatron损失路径。
建议工程师精读此PR,特别是熵梯度控制设计和checkpointing优化,这些是内存优化中的常见技巧。同时关注Copilot指出的潜在正确性问题,以确保变更不影响训练稳定性。
参与讨论