执行摘要
更新 sglang patch 支持 delta 同步
支持 delta 权重同步功能,使 sglang 推理服务能够正确加载和验证 slime 生成的增量权重文件。
该 PR 是基础设施适配,无需精读,但值得关注其与 #1991 的关联,了解 delta 权重更新的完整链路。
无 review 评论。
支持 delta 权重同步功能,使 sglang 推理服务能够正确加载和验证 slime 生成的增量权重文件。
该 PR 是基础设施适配,无需精读,但值得关注其与 #1991 的关联,了解 delta 权重更新的完整链路。
无 review 评论。
sglang/srt/speculative/eagle_worker_v2.py 和 multi_layer_eagle_worker_v2.py 的 update_weights_from_disk 调用中添加 files=recv_req.files 参数,使 delta 权重文件能够被传递到权重加载逻辑。sglang/srt/utils/common.py 的 SafeUnpickler.ALLOW_CLASSES 中添加 "slime." 前缀,允许反序列化 slime 模块的类,避免 unpickle 安全限制。sglang/srt/utils/weight_checker.py 的 _check_tensors 中跳过 .cos_sin_cache 张量检查,因为该缓存由形状和 dtype 决定,不同实现可能形状不同。| 文件 | 模块 | 状态 | 重要度 |
|---|---|---|---|
docker/patch/latest/sglang.patch |
docker 补丁 | modified | 5.21 |
分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。
当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。
低风险。修改集中在 sglang 补丁文件,不会影响 slime 核心逻辑。SafeUnpickler 放行 slime 模块可能引入反序列化风险,但仅限于 slime 自身模块类,且 slime 为可信来源。
仅影响使用 sglang 作为推理后端的 delta 权重同步场景。对不使用 delta 同步的用户无影响。
当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。
参与讨论