THUDM/slime · 标签视图

新增 SGLang 外部 rollout 的流式响应支持与请求级中止机制。

该 PR 值得精读。它不仅仅是添加了一个新功能，更重要的是重新设计了 rollout 中止的生命周期管理，将其从单一的服务器级中止细分为请求级和服务器级两种模式，提高了系统的灵活性和资源效率。`SGLangStreamAccumulator` 的设计清晰地分离了流处理逻辑，是处理复杂流式数据的好范例。测试的全面性（26 个参数化用例 + 端到端验证）也值得学习。建议关注请求级中止的实现模式以及 `replace_call_state` 标志如何处理完整的 top-p 元数据快照。

新增 --force-fp8-ue8m0-scale 开关，强制 UE8M0 量化

值得精读。重点学习如何将运行时依赖与用户强制开关解耦，以及如何在参数层提供灵活性。建议补充文档并增加对 `_quantize_param` 分支的测试。

新增加速器抽象层，支持 MUSA 后端并保持 CUDA 兼容

值得精读，尤其 `slime/utils/accelerator/__init__.py` 的选择编排与 `musa_patch` 引导时序、`base.py` 的 `resolve_visible_device_id`（可见设备映射是厂商差异核心）、`reloadable_process_group.py` 的 backend 归一化。建议后续补充“后端接入指南”文档，并规划 MUSA/MCCL 端到端验证（至少一条 SMOKE 路径），以确认 `musa_patch` 引导、权重更新组 `cpu:gloo,musa:mccl` 与 teardown 顺序在真实硬件上的正确性。关注 `is_accelerator_backend` 与 `process_group_backend` 对复合 backend 字符串的处理。

为 ROCm 构建 INT4 QAT 内核并修复 hipcc 兼容性

值得精读。该 PR 展示了如何通过条件编译适配不同 GPU 编译器（nvcc vs hipcc），但改动量较小。关注点在于 ROCm 构建配置的通用性和未来维护成本。

修复 tau-bench 推理模板令牌增量与掩码错误

值得精读。该 PR 展示了处理『聊天模板重写历史』和『多轮生成前缀掩码』的完整思路，尤其是 fail-closed 设计、独立渲染单条消息并校验后缀、以及用掩码而不是删除来保留生成前缀的做法。对使用 Qwen3 推理模板的 tau-bench 类多轮训练场景具有直接参考价值。

对齐 Megatron 训练与 SGLang rollouts，新增确定性 GLM-5 对齐路径

值得精读。该 PR 展示了如何系统性对齐训练与推理引擎的数值行为，包含大量可借鉴的设计：自定义 autograd 函数封装外部 kernel、通过 Triton 内核实现确定性路由重排、使用直通估计器（STE）处理对齐权重、基于 cache key 的权重对齐缓存、以及通过 layerwise dump 精确验证对齐效果。对从事多后端一致性、MoE 训练、FP8 量化的工程师有很高参考价值。建议关注点：1）routing_replay 对非 GLM-5 模型的潜在影响；2）DeepEP 成为唯一对齐后端的回退策略；3）CI 门禁的 fixture 依赖管理。

新增 rollout 采样钩子与动态采样回退，保留 DeepEP TMS 状态

值得精读：`slime/rollout/sample_hooks.py` 的 hook 机制设计（签名过滤 + 同步/异步统一 + no-op 默认）、`slime/backends/megatron_utils/__init__.py` 的 TMS 状态 try/finally 恢复模式，以及 `should_drop_dynamic_filter_output` 的回退阈值判定。建议未来在真实多卡环境验证 TMS patch，并观察动态采样回退对训练数据分布的实际影响。

支持 NCCL WORLD 进程组的销毁与重新加载

建议深入阅读 slime/utils/reloadable_process_group.py 中的实现，特别是 _destroy_default_nccl_process_group 和 _reload_default_process_group 的设计模式：利用 Gloo 组作为同步和过渡、使用 PrefixStore 保证 store 无冲突、通过 generation 字段保证唯一性。这些是分布式系统中重建通信组时的常用技巧。同时关注环境变量逃生口的设计。