THUDM/slime · 标签视图

修复 agent 路径中通过 router 中止 SGLang 请求的失效问题。

本 PR 修复了一个关键的资源泄露问题，虽然变更不大，但对 agent 功能的正确性很重要，值得精读。特别关注 abort 逻辑的兼容性处理（404 时直接 abort）和错误处理。建议后续补充自动化测试以覆盖 router 和直连两种场景。

新增 SGLang 外部 rollout 的流式响应支持与请求级中止机制。

该 PR 值得精读。它不仅仅是添加了一个新功能，更重要的是重新设计了 rollout 中止的生命周期管理，将其从单一的服务器级中止细分为请求级和服务器级两种模式，提高了系统的灵活性和资源效率。`SGLangStreamAccumulator` 的设计清晰地分离了流处理逻辑，是处理复杂流式数据的好范例。测试的全面性（26 个参数化用例 + 端到端验证）也值得学习。建议关注请求级中止的实现模式以及 `replace_call_state` 标志如何处理完整的 top-p 元数据快照。

新增 --force-fp8-ue8m0-scale 开关，强制 UE8M0 量化

值得精读。重点学习如何将运行时依赖与用户强制开关解耦，以及如何在参数层提供灵活性。建议补充文档并增加对 `_quantize_param` 分支的测试。

重构 rollout.py，拆分 SGLang 部署逻辑至 sglang_utils 子模块

值得精读。本 PR 是典型的「大文件拆分」重构示范，展示了如何将散落的部署逻辑按职责边界重新聚合为 engine-group / deployment / disaggregation 三层。重点关注 engine_group.py 中 GPU 槽位校验逻辑（`required_gpu_slots` 判断）和 deployment.py 中 router 的启动与复用策略，这些是后续排查部署问题的基础。

删除 rollout_validation 模块，GPU 放置校验内联至 rollout.py

值得快速浏览，重点确认 slime/ray/rollout.py 内联后的行为等价性与测试移除的取舍。若团队重视该校验的回归保护，可考虑在后续 PR 中补充针对 ServerGroup.start_engines 的集成测试或参数化单元测试。

新增 create_weight_updater 工厂，精简 actor 初始化

值得快速浏览，重点学习两点：一是如何用函数级延迟导入 + monkeypatch sys.modules 注入假模块来零成本测试内部 import 分支；二是把散落在核心初始化函数里的分派逻辑收敛为工厂函数时，如何用断言保住配置约束。若后续需要扩展权重同步通道，此工厂是天然的挂载点。

清理死代码与未访问分支，精简 32 个文件

该 PR 可作为仓库清理死代码的范式，适合需要了解如何系统识别未访问分支的工程师阅读。不建议深入学习具体业务逻辑，但可以重点关注其删除策略：先搜索调用方，再合并分支，最后同步测试。同时提醒在删除公共 API 前确认是否存在插件或外部依赖。

删除 megatron_patch 梯度合并补丁，简化 Megatron 适配层。

值得快速精读，重点在于理解 Slime 如何通过移除运行时 monkeypatch 来收敛对上游框架的侵入。合并前建议确认目标 Megatron 版本已具备等效的分块梯度同步机制，并在大模型 TP 场景做一次 OOM 回归验证；若无法确认，可先保留补丁并仅注释导入以避免直接行为回退。