Prhub

THUDM/slime

slime is an LLM post-training framework for RL Scaling.

监控状态:已开启 最近同步:2026-09-01 16:30 同步状态:空闲 下次计划:2026-09-01 17:30

PR 列表

更多筛选
2026-08-11
功能 重要性 9.36 洞察度 8.00

对齐 Megatron 训练与 SGLang rollouts,新增确定性 GLM-5 对齐路径

值得精读。该 PR 展示了如何系统性对齐训练与推理引擎的数值行为,包含大量可借鉴的设计:自定义 autograd 函数封装外部 kernel、通过 Triton 内核实现确定性路由重排、使用直通估计器(STE)处理对齐权重、基于 cache key 的权重对齐缓存、以及通过 layerwise dump 精确验证对齐效果。对从事多后端一致性、MoE 训练、FP8 量化的工程师有很高参考价值。建议关注点:1)routing_replay 对非 GLM-5 模型的潜在影响;2)DeepEP 成为唯一对齐后端的回退策略;3)CI 门禁的 fixture 依赖管理。

2026-08-07

#2257 [docker] support cuda 13

原始 PR · 作者 zhuzilin · 合并时间 2026-08-07 21:48

基础设施 重要性 4.94 洞察度 4.00

新增 CUDA 13(Blackwell)Docker 构建路径

值得精读 `docker/Dockerfile` 的 CUDA 分支与 `docker/justfile` 的发布目标,可作为“多 CUDA 版本 + 多架构镜像”构建的参考模板。重点观察三点:运行时探测取代显式构建开关的取舍、第三方 fork 依赖的固定 commit 管理、以及滚动 latest 标签的所有权转移。若团队近期要支持 Blackwell 训练,此 PR 是必要的基础设施前置。

2026-08-06

#2252 [release] bump to v0.3.1

原始 PR · 作者 zhuzilin · 合并时间 2026-08-06 19:08

基础设施 重要性 8.51 洞察度 6.00

发布 v0.3.1,集成 SGLang/Megatron 补丁与构建修复

值得精读,尤其适合维护 docker 补丁和发布流程的团队。关注补丁的组织方式、版本兼容策略,以及 reloadable process group 销毁顺序的修复思路。

2026-08-04

#2251 Internalize mbridge and remove megatron-bridge

原始 PR · 作者 zhuzilin · 合并时间 2026-08-04 15:19

重构 重要性 9.36 洞察度 6.00

内部化 mbridge,移除 megatron-bridge 依赖

值得精读。这是 slime 一次重要的架构收敛:从外部桥接模型转换切换到自研的轻量直接转换器,同时明确了模型支持的边界。建议重点阅读 `slime/backends/megatron_utils/hf_to_megatron/qwen.py` 的映射逻辑和 `slime_plugins/models/qwen3_5_vl.py` 的原生 VLM 实现,理解新的模型接入成本和约束。

功能 重要性 8.60 洞察度 6.00

新增 rollout 采样钩子与动态采样回退,保留 DeepEP TMS 状态

值得精读:`slime/rollout/sample_hooks.py` 的 hook 机制设计(签名过滤 + 同步/异步统一 + no-op 默认)、`slime/backends/megatron_utils/__init__.py` 的 TMS 状态 try/finally 恢复模式,以及 `should_drop_dynamic_filter_output` 的回退阈值判定。建议未来在真实多卡环境验证 TMS patch,并观察动态采样回退对训练数据分布的实际影响。

2026-08-03

#2249 Remove --train-memory-margin-bytes

原始 PR · 作者 zhuzilin · 合并时间 2026-08-03 19:54

重构 重要性 5.62 洞察度 2.00

移除 --train-memory-margin-bytes 参数及相关内存 margin 配置

该 PR 变更简单直接,不建议作为重点精读对象;但它展示了如何清理已废弃或不再适用的训练参数,以及参数移除时连带处理校验、actor 初始化和示例脚本的完整配套流程。关注点在于:确认 torch_memory_saver 默认 margin 是否满足 Slime 的 offload_train 需求,以及是否已在文档中移除该参数说明。

#2248 Support PYTORCH_ALLOC_CONF

原始 PR · 作者 zhuzilin · 合并时间 2026-08-03 19:38

功能 重要性 4.35 洞察度 3.00

PYTORCH_ALLOC_CONF 支持,隔离 SGLang

改动小但有针对性,结合 colocation 显存优化线(#2180 等)值得快速阅读。关注点:环境变量隔离位置是否合理,以及 Dockerfile 依赖锁定策略——建议后续改为固定 commit 或构建产物校验,避免构建漂移。

2026-07-23

#2228 [docker] upgrade sglang to v0.5.15.post1

原始 PR · 作者 zhuzilin · 合并时间 2026-07-23 16:26

基础设施 重要性 8.41 洞察度 6.00

SGLang 升级至 v0.5.15.post1,同步更新 Docker 构建与 patch

本 PR 适合所有使用 slime Docker 镜像的团队精读,尤其是 `arguments.py` 中的参数兼容模式和 `sglang_engine.py` 的默认值覆盖策略值得在设计迁移时借鉴。建议 merge 前运行完整 CI(包括 offload、disagg 测试组合),并确认无回归。

参与讨论