Prhub

sgl-project/sglang · 标签视图

标签列表

聚合结果

model-loader 相关 PR

2026-08-15

#34880 fix: honor explicit model loader classes

原始 PR · 作者 raghotham · 合并时间 2026-08-15 14:00

缺陷修复 重要性 5.21 洞察度 3.00

提前解析显式 loader 类,修复自动量化路由覆盖问题

建议快速浏览而非精读:核心价值在于"显式用户选择优先于自动配置路由"这一优先级设计。改动本身只是移动一个分支,但体现了 loader 选择语义的明确化:DUMMY > 显式 loader 类 > 自动量化路由 > 枚举 load_format 分支。可留意的改进点是补一个路由顺序单元测试(例如自定义 loader 类 + modelopt 量化配置组合),把该语义固化下来,防止未来回归。

2026-07-31

#32896 Fix async loading of RunAI-streamed tensors

原始 PR · 作者 ramm · 合并时间 2026-07-31 21:46

缺陷修复 重要性 6.45 洞察度 5.00

修复 RunAI 流式张量异步加载导致的权重静默损坏

值得精读。虽然源码只改动 6 行,但其价值体现在两点:一是把 zero-copy 缓冲区所有权与线程池异步消费的竞态显式化为共享决策函数中的契约,保护所有加载器;二是用单 worker executor + event 阻塞把 timing-sensitive 竞态变成确定性断言,测试写法有借鉴意义。建议后续为 RunAI 标记属性增加边界校验,并把该回归测试纳入 CPU CI 门禁,防止未来 streamer 集成重新引入同类问题。