Prhub

#1993 Patch sglang 0.5.12.post1 for delta sync

原始 PR 作者 nanjiangwill 合并时间 2026-05-30 13:59 文件变更 1 提交数 1 评论 0 代码增减 +24 / -0

执行摘要

更新 sglang patch 支持 delta 同步

支持 delta 权重同步功能,使 sglang 推理服务能够正确加载和验证 slime 生成的增量权重文件。

该 PR 是基础设施适配,无需精读,但值得关注其与 #1991 的关联,了解 delta 权重更新的完整链路。

讨论亮点

无 review 评论。

实现拆解

  1. EAGLE 工作器传参:在 sglang/srt/speculative/eagle_worker_v2.pymulti_layer_eagle_worker_v2.pyupdate_weights_from_disk 调用中添加 files=recv_req.files 参数,使 delta 权重文件能够被传递到权重加载逻辑。
  2. 安全反序列化放行:在 sglang/srt/utils/common.pySafeUnpickler.ALLOW_CLASSES 中添加 "slime." 前缀,允许反序列化 slime 模块的类,避免 unpickle 安全限制。
  3. 权重检查跳过缓存:在 sglang/srt/utils/weight_checker.py_check_tensors 中跳过 .cos_sin_cache 张量检查,因为该缓存由形状和 dtype 决定,不同实现可能形状不同。
文件 模块 状态 重要度
docker/patch/latest/sglang.patch docker 补丁 modified 5.21

关键符号

update_weights_from_disk SafeUnpickler _check_tensors

分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

低风险。修改集中在 sglang 补丁文件,不会影响 slime 核心逻辑。SafeUnpickler 放行 slime 模块可能引入反序列化风险,但仅限于 slime 自身模块类,且 slime 为可信来源。

仅影响使用 sglang 作为推理后端的 delta 权重同步场景。对不使用 delta 同步的用户无影响。

反序列化风险

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论