修复最新 Megatron 下模型转换兼容性问题
本 PR 值得精读,因为它展示了如何通过小范围的兼容性修复来适配 Megatron 新版本,特别是参数默认值、导入路径和构造签名的处理方式,可作为后续适配其他模型插件时的参考。
slime is an LLM post-training framework for RL Scaling.
修复最新 Megatron 下模型转换兼容性问题
本 PR 值得精读,因为它展示了如何通过小范围的兼容性修复来适配 Megatron 新版本,特别是参数默认值、导入路径和构造签名的处理方式,可作为后续适配其他模型插件时的参考。
为 ROCm 构建 INT4 QAT 内核并修复 hipcc 兼容性
值得精读。该 PR 展示了如何通过条件编译适配不同 GPU 编译器(nvcc vs hipcc),但改动量较小。关注点在于 ROCm 构建配置的通用性和未来维护成本。
原始 PR · 作者 lilei199908 · 合并时间 2026-08-14 11:25
修复 FP8 转换中 ue8m0 变换开关导致的不一致问题
该 PR 值得精读,虽然改动不大,但涉及 FP8 量化转换的关键参数透传,可学习如何通过参数默认值控制行为并保持调用链一致性。建议关注后续是否存在统一的 `transform_ue8m0` 配置入口,以及是否补充对应测试以确保两种路径行为一致。
重构 --save-debug-train-data 为单文件转储并支持 CP 恢复
值得精读。重点看 `restore_context_parallel_fields_to_cpu` 的逐 sample gather 与显存控制、`policy_loss_function` 中的捕获钩子设计,以及 `_build_dump_payload` 的排序与布局。对需要扩展训练数据转储或理解 Megatron 后端 CP/PP 数据流转的工程师有直接参考价值。
扩展 NPU 补丁以括号包裹 IPv6 地址
建议精读该 PR 以理解 NPU 补丁的维护方式,关注 _wrap_ipv6 的实现和补丁的版本兼容性。
修复 eval.defaults 丢键与 per-dataset stop 失效
值得精读。这是一个高信号的配置解析 bugfix:`slime/utils/eval_config.py` 中反射校验 + setdefault 兜底的做法,以及 `slime/rollout/sglang_rollout.py` 中采样参数的三级回退,都是可复用的防御式配置设计。建议重点阅读 `build_eval_dataset_configs` 的完整实现、`DATASET_RUNTIME_SPECS` 的新增条目,以及 `tests/test_eval_config.py` 对契约的表述;合并后顺手核对仓库内现有 `eval.defaults` 配置是否存在拼写错误键。该 PR 也是很好的教学案例:说明 spec 表模式在字段漏配时如何静默失败,以及如何用反射消除硬编码清单。
修复全异步 rollout 丢弃已完成组并解除事件循环阻塞
值得精读。该 PR 是典型的“两个缺陷相互耦合、需联动修复”的案例,其背压转移设计(将有界队列改为无界、在生产者侧用 qsize 门控)是一个可复用的异步队列模式。建议关注 `get_completed_groups` 的 limit 语义与 `_loop` 门控条件,理解为何“无界队列 + 显式门控”优于“有界队列 + 阻塞 put”在事件循环线程中的表现。
原始 PR · 作者 DongzhuoranZhou · 合并时间 2026-08-12 13:51
修复 tau-bench 推理模板令牌增量与掩码错误
值得精读。该 PR 展示了处理『聊天模板重写历史』和『多轮生成前缀掩码』的完整思路,尤其是 fail-closed 设计、独立渲染单条消息并校验后缀、以及用掩码而不是删除来保留生成前缀的做法。对使用 Qwen3 推理模板的 tau-bench 类多轮训练场景具有直接参考价值。
参与讨论