执行摘要

此PR为sglang仓库的推测解码模块添加了权重更新支持，通过在multi_layer_eagle_worker_v2.py和eagle_worker_v2.py中新增update_weights_from_disk和update_weights_from_ipc方法，使草案工作者能够从磁盘或IPC加载新模型权重。同时更新调度器混合类以协调更新流程，增强了系统在线模型热更新能力，但缺乏直接测试覆盖，需关注后续补充。

功能与动机

动机源于支持草案工作者中的update_weights_from_disk和update_weights_from_ipc功能，如PR描述所示。这允许在推测解码过程中动态更新模型权重，例如从检查点加载新参数或通过进程间通信传递权重，提升部署灵活性和运行时适应性。

实现拆解

1. 入口变更：两个工作者文件首先更新导入语句，添加UpdateWeightFromDiskReqInput和UpdateWeightsFromIPCReqInput类型引用。
2. 核心逻辑扩展：
   • 在multi_layer_eagle_worker_v2.py中，新增方法循环遍历speculative_num_steps个草案运行器，确保所有步骤同步更新。
     

     def update_weights_from_disk(self, recv_req: UpdateWeightFromDiskReqInput):
         for i in range(self.speculative_num_steps):
             success, message = self._draft_worker.draft_runner_list[i].update_weights_from_disk(
                 recv_req.model_path,
                 recv_req.load_format,
                 recapture_cuda_graph=recv_req.recapture_cuda_graph,
             )
             if not success:
                 return success, message # 失败时提前返回
         return True, "Succeeded to update model weights."
     

   • 在eagle_worker_v2.py中，类似方法直接调用草案运行器，简化逻辑。
3. 调度器集成：修改scheduler_update_weights_mixin.py，在update_weights_from_disk和update_weights_from_ipc方法中添加对草案工作者的调用，并处理缓存刷新，确保整体一致性。
4. 测试与部署配套：本次改动未包含测试文件，Issue评论中提及后续PR应添加测试；无配置或部署变更。

评论区精华

Reviewer Qiaolin-Yu 提出关键问题：> 'Where do ipc_path and load_format come from? It seems UpdateWeightsFromIPCReqInput doesn't have these attributes'。这暴露了早期实现可能存在的参数传递错误，但最终代码已修正为直接传递整个请求对象，避免了类型不匹配风险，体现了代码审查对正确性的重视。

风险与影响

• 技术风险：权重同步失败可能导致草案模型与主模型不一致，影响解码准确性；循环更新可能引入性能开销；缺少测试增加回归风险。
• 影响评估：用户可通过API实现模型热更新，提升操作灵活性；系统增强在线权重管理能力；团队需跟进测试补充以确保功能稳定。

关联脉络

从近期历史PR看，PR 22832同样修改了multi_layer_eagle_worker_v2.py文件，修复CUDA Graph相关bug，显示该文件是推测解码的核心组件。PR 21599引入自适应推测解码步骤，与本PR同属推测解码功能演进线，表明该模块正持续扩展以优化性能和功能。