#7227 [ckpt, rollout, vllm] feat: add vLLM consumer for delta-sharded weight sync
原始 PR · 作者 ShuoleiWang · 合并时间 2026-08-31 09:59
vLLM 新增 delta_sharded 稀疏权重同步,实测提速约 8 倍
值得精读。这是 delta_sharded 从 SGLang 扩展到 vLLM 的关键一步,对理解 VERL checkpoint 引擎的扩展模式很有价值。重点看:① 坐标映射交由 vLLM 原生 loader 的架构分工(decode_delta_payload + CheckpointWeightPatch);② 失败锁死与“整 session 重建”的运维语义;③ require_vllm_delta_support 的接口探测写法与 _preprocess_engine_kwargs 的拓扑 guard;④ 在无法运行真实路径的 CI 环境里,如何用版本无关回归测试(abort 传播、字节对齐)保护基础设施。
参与讨论