Prhub

sgl-project/sglang · 标签视图

标签列表

聚合结果

weight-cache 相关 PR

2026-08-31

#36101 weight cache: key daemon paths by GPU UUID

原始 PR · 作者 TarangKhanna · 合并时间 2026-08-31 16:44

缺陷修复 重要性 8.50 洞察度 5.00

daemon 路径改按 GPU UUID 键控,隔离跨作业误连

值得精读,尤其是三处设计:其一,发现身份与权重兼容性解耦——用 GPU UUID 回答“连哪个 daemon”,用 CacheConfig 回答“权重是否匹配”,职责清晰;其二,模板占位符缺失即 fail-fast,堵住 str.format 静默忽略导致的路径收敛隐患;其三,客户端把 socket 推导下沉到加载时刻,避免在逻辑 rank 上建立错误绑定。对在共享主机上部署多作业的团队有直接参考价值。

2026-08-27

#36198 [Weight Cache] Enhance test and support EPLB

原始 PR · 作者 UNIDY2002 · 合并时间 2026-08-27 14:11

功能 重要性 6.88 洞察度 5.00

weight cache 放开 EPLB 限制并补齐 DP/EP 测试

值得精读。核心看点是 daemon 与引擎通过 `compute_initial_expert_location_metadata` 共享同一 EPLB 布局初始化入口,以及测试基类用类属性参数化 daemon/server 参数的模式。关注 weight cache 功能线的读者建议结合 #33684 和 #34053 一起阅读,理解从 TP-only 到 DP/EP/EPLB 全覆盖的演进路径。

功能 重要性 6.26 洞察度 4.00

权重缓存守护进程路径改为环境变量可配置

该 PR 值得快速浏览,因为展示了如何将硬编码路径改为环境变量驱动的模式,并附带简单校验。对于维护者,可关注环境变量命名是否符合全局约定。