Prhub

sgl-project/sglang · 标签视图

标签列表

聚合结果

model-loading 相关 PR

2026-08-11

#34252 plugins: don't directly set quant class

原始 PR · 作者 DevashishLal-CB · 合并时间 2026-08-11 07:01

缺陷修复 重要性 6.12 洞察度 3.00

修复插件量化配置类被默认类覆盖的问题

值得快速浏览,属于小而关键的平台插件兼容性修复。如果读者使用 ModelOpt 或自定义 quant_cls 插件,可以精读 `get_quant_config` 的分支逻辑;否则可跳过。值得关注的设计决策:用 `issubclass` 而非类型相等判断,既保留默认行为,又允许插件子类扩展构造与转换逻辑。

2026-08-05
缺陷修复 重要性 5.16 洞察度 3.00

修复未分片 HF 权重未被识别导致的 Mistral 加载崩溃

值得精读。改动虽小(1 文件 9 行),但位于权重加载格式自动检测的核心决策点,修复了 Mistral 双子模型开箱即崩的问题。值得关注的设计点:一是 AUTO 加载路径与 filter_duplicate_safetensors_files 去重配合,实现检测翻转后自动选择正确权重文件;二是 HF-API 分支用根目录限定避免子目录误判,保持与本地 glob 语义一致。若团队后续维护 Mistral 系新模型,建议为该检测逻辑补充单元测试,避免回归。