Prhub

THUDM/slime

slime is an LLM post-training framework for RL Scaling.

监控状态:已开启 最近同步:2026-09-18 14:47 同步状态:空闲 下次计划:2026-09-18 15:47

PR 列表

更多筛选
2026-08-12
缺陷修复 重要性 6.63 洞察度 5.00

修复 block_fp8 全零块产生 NaN 权重的问题

该 PR 值得精读,尤其是对于使用 `block_fp8` 进行模型量化的团队。它展示了一个典型边界条件的修复,并通过引入针对性的单元测试强化了代码契约。建议关注测试的编写方式(动态加载模块、CPU 运行)以及钳制值选择的一致性。

缺陷修复 重要性 4.86 洞察度 4.00

修复 partial rollout 续跑时重复使用完整响应预算

该 PR 值得精读,虽然改动小,但涉及正确性修复,且回归源于 1eed2493 重构。建议关注其根因与测试缺失,未来应补充单元测试覆盖 partial rollout 续跑预算计算。

缺陷修复 重要性 6.15 洞察度 5.00

修复 Qwen3 SFT 连续 tool 响应 tokenization 不一致

值得精读,特别是了解 loss-mask 生成器如何处理工具消息的上下文依赖。设计决策值得关注:最小化改动而非全量重构,通过分组连续 tool 消息修复 bug,并保留原有架构。

2026-08-11
功能 重要性 9.36 洞察度 8.00

对齐 Megatron 训练与 SGLang rollouts,新增确定性 GLM-5 对齐路径

值得精读。该 PR 展示了如何系统性对齐训练与推理引擎的数值行为,包含大量可借鉴的设计:自定义 autograd 函数封装外部 kernel、通过 Triton 内核实现确定性路由重排、使用直通估计器(STE)处理对齐权重、基于 cache key 的权重对齐缓存、以及通过 layerwise dump 精确验证对齐效果。对从事多后端一致性、MoE 训练、FP8 量化的工程师有很高参考价值。建议关注点:1)routing_replay 对非 GLM-5 模型的潜在影响;2)DeepEP 成为唯一对齐后端的回退策略;3)CI 门禁的 fixture 依赖管理。

2026-08-07

#2257 [docker] support cuda 13

原始 PR · 作者 zhuzilin · 合并时间 2026-08-07 21:48

基础设施 重要性 4.94 洞察度 4.00

新增 CUDA 13(Blackwell)Docker 构建路径

值得精读 `docker/Dockerfile` 的 CUDA 分支与 `docker/justfile` 的发布目标,可作为“多 CUDA 版本 + 多架构镜像”构建的参考模板。重点观察三点:运行时探测取代显式构建开关的取舍、第三方 fork 依赖的固定 commit 管理、以及滚动 latest 标签的所有权转移。若团队近期要支持 Blackwell 训练,此 PR 是必要的基础设施前置。

2026-08-06

#2252 [release] bump to v0.3.1

原始 PR · 作者 zhuzilin · 合并时间 2026-08-06 19:08

基础设施 重要性 8.51 洞察度 6.00

发布 v0.3.1,集成 SGLang/Megatron 补丁与构建修复

值得精读,尤其适合维护 docker 补丁和发布流程的团队。关注补丁的组织方式、版本兼容策略,以及 reloadable process group 销毁顺序的修复思路。

2026-08-04

#2251 Internalize mbridge and remove megatron-bridge

原始 PR · 作者 zhuzilin · 合并时间 2026-08-04 15:19

重构 重要性 9.36 洞察度 6.00

内部化 mbridge,移除 megatron-bridge 依赖

值得精读。这是 slime 一次重要的架构收敛:从外部桥接模型转换切换到自研的轻量直接转换器,同时明确了模型支持的边界。建议重点阅读 `slime/backends/megatron_utils/hf_to_megatron/qwen.py` 的映射逻辑和 `slime_plugins/models/qwen3_5_vl.py` 的原生 VLM 实现,理解新的模型接入成本和约束。

功能 重要性 8.60 洞察度 6.00

新增 rollout 采样钩子与动态采样回退,保留 DeepEP TMS 状态

值得精读:`slime/rollout/sample_hooks.py` 的 hook 机制设计(签名过滤 + 同步/异步统一 + no-op 默认)、`slime/backends/megatron_utils/__init__.py` 的 TMS 状态 try/finally 恢复模式,以及 `should_drop_dynamic_filter_output` 的回退阈值判定。建议未来在真实多卡环境验证 TMS patch,并观察动态采样回退对训练数据分布的实际影响。

参与讨论