修复 --save-hf 的 HuggingFace 权重转换逻辑
值得合并,修复了明显 bug。建议同步检视相关测试覆盖。
slime is an LLM post-training framework for RL Scaling.
修复 --save-hf 的 HuggingFace 权重转换逻辑
值得合并,修复了明显 bug。建议同步检视相关测试覆盖。
原始 PR · 作者 HelloWorldLTY · 合并时间 2026-07-19 10:23
修复文档中两处文字错误
快速合并即可,无需额外审查。该 PR 可作为新手贡献文档的良好示例。
优化 MoE 权重更新,引入专家路由跳过非专家转换
建议架构师和训练引擎维护者仔细阅读 `expert_routing.py` 中的拓扑差分检测和路由规划逻辑,以及 `update_weight_from_tensor.py` 中如何组合选择性转换。测试部分仍可加强,特别是多节点异构拓扑场景。
支持 NCCL WORLD 进程组的销毁与重新加载
建议深入阅读 slime/utils/reloadable_process_group.py 中的实现,特别是 _destroy_default_nccl_process_group 和 _reload_default_process_group 的设计模式:利用 Gloo 组作为同步和过渡、使用 PrefixStore 保证 store 无冲突、通过 generation 字段保证唯一性。这些是分布式系统中重建通信组时的常用技巧。同时关注环境变量逃生口的设计。
支持 routed_experts_start_len 处理部分专家路由
此 PR 改动虽小,但涉及对 routed experts 数据拼接逻辑的扩展,对于理解分块解码场景下的数据流有帮助。建议阅读 `slime/utils/types.py` 中的新增拼接逻辑;`actor.py` 中的单行改动可视为对 routing replay 的完善。
原始 PR · 作者 nanjiangwill · 合并时间 2026-07-07 10:22
引擎侧新增 /pull_weights 端点,解耦权重同步 fan-out
建议精读 PR 的设计文档(body 和 commit message),特别是非 POSIX 文件系统的可见性处理策略。架构师应关注如何将执行流从 slime 下沉到引擎,这种模式可复用于其他需要跨 host 同步的场景。
新增 source_names 追踪数据来源
建议合并。变更清晰、影响范围小,文档完善。值得关注的是 `get_source` 的优先级设计,为未来扩展提供了灵活性。
清理无用代码与参数,强化多节点安全
建议尽快合入。此 PR 是典型的“清理债务”型变更,风险低、收益明确。特别值得关注的是变量重命名策略和 node_rank guard 模式,可在未来多节点功能中复用。
参与讨论