执行摘要

• 一句话：提前解析显式 loader 类，修复自动量化路由覆盖问题
• 推荐动作：建议快速浏览而非精读：核心价值在于"显式用户选择优先于自动配置路由"这一优先级设计。改动本身只是移动一个分支，但体现了 loader 选择语义的明确化：DUMMY > 显式 loader 类 > 自动量化路由 > 枚举 load_format 分支。可留意的改进点是补一个路由顺序单元测试（例如自定义 loader 类 + modelopt 量化配置组合），把该语义固化下来，防止未来回归。

功能与动机

PR body 明确说明动机："Programmatic callers can select a model loader by passing its class, but automatic quantization routing currently runs first and can replace that explicit choice." 即在 get_model_loader 中，auto-round-int8 与 ModelOpt 自动量化路由先于类值 load_format 分支执行，会把调用方显式传入的 loader 类替换为 IncModelLoader 或 ModelOptModelLoader。Modifications 声明修法是"Resolve class-valued load formats before AutoRound and ModelOpt routing"，并要求字符串和枚举 load format 保持原有行为。无关联 Issue。

实现拆解

变更入口是 python/sglang/srt/model_loader/loader.py 中的 get_model_loader 函数——所有模型加载器的统一路由入口，按 load_config.load_format 与 model_config.quantization 决定返回哪个 loader 实例。实现拆解如下：

1. 定位问题：原顺序中 isinstance(load_config.load_format, type) 分支位于函数末尾（ModelOpt 路由之后、SHARDED_STATE 枚举检查之前）。程序化调用方传入 loader 类时，只要模型带 auto-round-int8 或 ModelOpt 相关 quantization 配置，就会先命中 IncModelLoader / ModelOptModelLoader，显式选择被自动路由覆盖。
2. 调整路由顺序：将该分支整体前移，紧跟 LoadFormat.DUMMY 检查之后，并删除原位置的分支。这样类值 load_format 在自动量化路由之前被解析并直接实例化返回。
3. 保留原有语义：DUMMY 仍为最高优先级；AutoRound、ModelOpt 自动路由以及 SHARDED_STATE、PRESHARDED、BITSANDBYTES、GGUF、LAYERED、FLASH_RL 等字符串 / 枚举分支的判定条件均未改动，只对显式传类的调用方改变结果。
4. 测试与 CI 配套：PR body 声明 accuracy / speed 测试不适用，也未新增针对路由顺序的单元测试；CI 由 mmangkad 以评论 /tag-and-rerun-ci 触发，随后 APPROVED 并合并。文件为 3 增 3 删，提交包含一次 merge main。

关键文件：

• python/sglang/srt/model_loader/loader.py（模块 模型加载；类别 source；类型 core-logic；符号 get_model_loader）: 唯一变更文件，get_model_loader 是所有模型加载器的统一路由入口；修复点在于把类值 load_format 的分支从函数尾部（ModelOpt 路由之后）提前到自动量化路由之前，使显式 loader 类优先被实例化。

关键符号：get_model_loader

关键源码片段

python/sglang/srt/model_loader/loader.py

唯一变更文件，get_model_loader 是所有模型加载器的统一路由入口；修复点在于把类值 load_format 的分支从函数尾部（ModelOpt 路由之后）提前到自动量化路由之前，使显式 loader 类优先被实例化。

def get_model_loader(
    load_config: LoadConfig, model_config: Optional[ModelConfig] = None
) -> BaseModelLoader:
    """Get a model loader based on the load format."""
​
    # DUMMY 仍保持最高优先级，供测试等场景使用
    if load_config.load_format == LoadFormat.DUMMY:
        return DummyModelLoader(load_config)
​
    # 修复点：类值 load_format 的解析被提前到这里。程序化调用方通过
    # 传入 loader 类显式选择加载器时，直接实例化并返回，不再被下方的
    # AutoRound / ModelOpt 自动量化路由抢先覆盖
    if isinstance(load_config.load_format, type):
        return load_config.load_format(load_config)
​
    # 以下自动路由仅对字符串 / 枚举 load_format 生效，行为与修复前一致。
    # AutoRound 量化（auto-round-int8）走 IncModelLoader
    if model_config and model_config.quantization in ["auto-round-int8"]:
        logger.info("Using IncModelLoader due to AutoRound quantization config.")
        return IncModelLoader(load_config)
​
    # ModelOpt 工作流（checkpoint 恢复 / 保存、导出）以及 modelopt_fp8、
    # modelopt_fp4、modelopt_mixed 等量化配置仍命中 ModelOptModelLoader，
    # 但显式传入的 loader 类不会再进入这些分支
    modelopt_config = load_config.modelopt_config
    modelopt_workflow_requested = modelopt_config is not None and any(
        (
            modelopt_config.checkpoint_restore_path,
            modelopt_config.checkpoint_save_path,
            modelopt_config.export_path,
        )
    )
    modelopt_fp4_online = (
        model_config
        and model_config.quantization == "modelopt_fp4"
        and not model_config._is_already_quantized()
        and not modelopt_workflow_requested
    )
    model_optloader_allowed = (
        model_config
        and not modelopt_fp4_online
        and load_config.load_format
        not in (LoadFormat.RUNAI_STREAMER, LoadFormat.REMOTE_INSTANCE)
    )
​
    # 命中 ModelOpt 量化或工作流时返回 ModelOptModelLoader
    if model_optloader_allowed and (
        (hasattr(model_config, "modelopt_quant") and model_config.modelopt_quant)
        or model_config.quantization
        in ["modelopt_fp8", "modelopt_fp4", "modelopt_mixed", "modelopt"]
    ):
        logger.info("Using ModelOptModelLoader due to ModelOpt quantization config.")
        return ModelOptModelLoader(load_config)

评论区精华

该 PR 没有任何实质性的 review 讨论：review_comments 为 0，唯一 Issue 评论是合并者 mmangkad 的 CI 触发命令 /tag-and-rerun-ci，随后其直接给出 APPROVED（无评语）。代码由 raghotham 提交、ehhuang 共同署名，最终由 b8zhong 执行 merge main。无争议点；唯一可讨论的遗留是未补充路由顺序测试，但没有任何 reviewer 提出。

• 暂无高价值评论线程

风险与影响

• 风险：
  • 路由优先级语义变更：显式 loader 类现在完全绕过 AutoRound / ModelOpt 自动路由。若有程序化调用方此前依赖"显式类 + 自动量化覆盖"的组合行为，会观察到行为变化（这正是修复目标，但属于可感知的语义变化）。
  • 测试覆盖缺失：get_model_loader 的路由顺序没有对应单元测试（例如自定义 loader 类 + modelopt 量化配置应返回显式类的用例），后续回归难以被 CI 捕获；近期 PR 34913 引入的静态 ratchet 也未覆盖该函数，目前无兜底。
  • DUMMY 优先级约定：LoadFormat.DUMMY 仍在显式类检查之前返回 DummyModelLoader，若调用方同时传 DUMMY 与自定义类，以 DUMMY 为准。
  • CI 状态存疑：PR body 的 CI 状态槽显示两次最新运行（base / extra）均为失败标记，但 PR 仍被批准合并；鉴于改动未附测试，建议留意 CI 日志以排除与路由相关的启动回归。
  • 影响面：仅启动期路由，不涉及推理路径、权重加载与量化计算，对模型输出、延迟、吞吐无影响。
  • 影响：受影响的是通过编程接口直接传入 loader 类的调用方（此前可能意外被 AutoRound / ModelOpt 路由替换），修复后其显式选择被尊重；使用字符串或枚举 load_format 的 CLI / 服务端用户行为完全不变。改动位于启动期，不涉及请求路径，对推理输出、延迟、吞吐无影响。对团队而言维护成本极低（净 6 行），但缺少测试覆盖意味着后续重构 get_model_loader 或调整量化路由顺序时，需要人工留意该优先级约定。
  • 风险标记：启动路由优先级变更, 缺少测试覆盖, CI 状态存疑

关联脉络

• PR #34869 Fix startup weight load after TorchAO removal: 同为模型加载 / 启动链路的近期 bugfix，涉及量化相关路由（quant 标签），并与本次改动共同体现 loader 启动路径的可靠性维护脉络。