新增 --force-fp8-ue8m0-scale 开关,强制 UE8M0 量化
值得精读。重点学习如何将运行时依赖与用户强制开关解耦,以及如何在参数层提供灵活性。建议补充文档并增加对 `_quantize_param` 分支的测试。
标签列表
聚合结果
新增 --force-fp8-ue8m0-scale 开关,强制 UE8M0 量化
值得精读。重点学习如何将运行时依赖与用户强制开关解耦,以及如何在参数层提供灵活性。建议补充文档并增加对 `_quantize_param` 分支的测试。
重构 rollout.py,拆分 SGLang 部署逻辑至 sglang_utils 子模块
值得精读。本 PR 是典型的「大文件拆分」重构示范,展示了如何将散落的部署逻辑按职责边界重新聚合为 engine-group / deployment / disaggregation 三层。重点关注 engine_group.py 中 GPU 槽位校验逻辑(`required_gpu_slots` 判断)和 deployment.py 中 router 的启动与复用策略,这些是后续排查部署问题的基础。
删除 rollout_validation 模块,GPU 放置校验内联至 rollout.py
值得快速浏览,重点确认 slime/ray/rollout.py 内联后的行为等价性与测试移除的取舍。若团队重视该校验的回归保护,可考虑在后续 PR 中补充针对 ServerGroup.start_engines 的集成测试或参数化单元测试。
新增 create_weight_updater 工厂,精简 actor 初始化
值得快速浏览,重点学习两点:一是如何用函数级延迟导入 + monkeypatch sys.modules 注入假模块来零成本测试内部 import 分支;二是把散落在核心初始化函数里的分派逻辑收敛为工厂函数时,如何用断言保住配置约束。若后续需要扩展权重同步通道,此工厂是天然的挂载点。
清理死代码与未访问分支,精简 32 个文件
该 PR 可作为仓库清理死代码的范式,适合需要了解如何系统识别未访问分支的工程师阅读。不建议深入学习具体业务逻辑,但可以重点关注其删除策略:先搜索调用方,再合并分支,最后同步测试。同时提醒在删除公共 API 前确认是否存在插件或外部依赖。
删除 megatron_patch 梯度合并补丁,简化 Megatron 适配层。
值得快速精读,重点在于理解 Slime 如何通过移除运行时 monkeypatch 来收敛对上游框架的侵入。合并前建议确认目标 Megatron 版本已具备等效的分块梯度同步机制,并在大模型 TP 场景做一次 OOM 回归验证;若无法确认,可先保留补丁并仅注释导入以避免直接行为回退。
原始 PR · 作者 liuhao-labs · 合并时间 2026-08-24 11:20
删除过时 delta+NCCL 建议,明确 delta 仅支持 disk
PR 改动很小,不需要精读。值得留意的设计决策是:当代码功能被移除(#2089)而文档未同步时,决策表会继续推荐一条不存在的路径;本次通过“明确说明当前契约 + 声明不修复历史问题”的方式完成对齐。若关注 external rollout engine 的权重同步演进(#1806 引入 → #2089 移除 → #2209 报告 NaN → #2312 清理文档),可以顺着这条链路做复盘。
修复 OPD 教师温度硬编码为 0 的问题
该 PR 不建议精读,但其讨论过程值得关注,特别是关于 SGLang 温度对 input logprob 影响的澄清,以及最终引导至 PR#2325 的正确修复。