执行摘要

• 一句话：Kimi-K3 自动 MoE 选择扩展到 SM107，防止显存耗尽
• 推荐动作：建议在 FlashInfer 官方 artifact 验证通过后合并。合并前应补充针对 SM107 的单元测试和集成测试，确保后端正确选择。此变更逻辑简单，但硬件依赖性强，需谨慎验证。

功能与动机

Kimi-K3 打包 MXFP4 模型在 SM100 和 SM103 上会自动选择 FlashInfer MXFP4 MoE runner，但精确架构门控排除了 SM107。因此，--moe-runner-backend auto 在模型加载期间可能回退到 BF16 权重物化，消耗大量显存。此 PR 是对 #33997 的策略跟进，旨在将 SM107 纳入自动选择范围，避免显存耗尽。

实现拆解

1. 修改架构判断：在 python/sglang/srt/arg_groups/overrides.py 的 _kimi_k3_moe_runner_overrides 函数中，将 get_device_sm() in (100, 103) 改为 get_device_sm() in (100, 103, 107)，使 SM107 设备也能触发 MXFP4 后端的自动选择。
2. 保留显式选择：函数开头仍检查 server_args.moe_runner_backend != 'auto'，若用户显式指定后端，则直接返回空 override，保持其选择。
3. 更新日志信息：将日志信息中的架构范围从 SM100/SM103 更新为 SM100/SM103/SM107。

关键文件：

• python/sglang/srt/arg_groups/overrides.py（模块 配置覆盖；类别 source；类型 core-logic；符号 _kimi_k3_moe_runner_overrides, _is_mxfp4_pack_quantized）: 核心策略文件，修改了 Kimi-K3 自动 MoE runner 选择的架构条件。

关键符号：_kimi_k3_moe_runner_overrides, _is_mxfp4_pack_quantized

关键源码片段

python/sglang/srt/arg_groups/overrides.py

核心策略文件，修改了 Kimi-K3 自动 MoE runner 选择的架构条件。

# python/sglang/srt/arg_groups/overrides.py
​
def _is_mxfp4_pack_quantized(hf_config: Any) -> bool:
    qc = getattr(
        getattr(hf_config, "text_config", hf_config), "quantization_config", None
    )
    if not isinstance(qc, dict):
        return False
    groups = qc.get("config_groups") or {}
    # 检查 config_groups 中是否有任一格式包含 "mxfp4"，用于判断是否为 MXFP4 量化
    return any(
        "mxfp4" in str(g.get("format", ""))
        for g in groups.values()
        if isinstance(g, dict)
    )
​
@_register_for("KimiK3ForConditionalGeneration")
def _kimi_k3_moe_runner_overrides(server_args: Any, hf_config: Any) -> dict:
    # MoE runner 默认值，独立于上面的注意力后端门控。
    # trtllm-gen 融合 MoE（flashinfer_mxfp4）在 SM100/SM103 的解码
    # （M=bs）和目标验证（M=bs*(gamma+1)）场景中均优于 marlin。
    # SM107 使用相同的打包 MXFP4 runner；若 auto 未解析，
    # 则会在模型加载时回退到 BF16 权重物化，导致显存耗尽。
    if server_args.moe_runner_backend != "auto":
        return {} # 保留用户显式指定的后端
    # 架构门控：仅 SM100/SM103/SM107 且支持 SM100 时才启用自动选择
    if not (is_sm100_supported() and get_device_sm() in (100, 103, 107)):
        return {}
    if not _is_mxfp4_pack_quantized(hf_config):
        return {} # 非 MXFP4 量化则忽略
    logger.info(
        "Kimi-K3 on SM100/SM103/SM107: moe_runner_backend=flashinfer_mxfp4 "
        "(FlashInfer SiTU kernels)."
    )
    return {"moe_runner_backend": "flashinfer_mxfp4"}

评论区精华

无 review 评论，仅有一条 issue 评论来自作者 leejnau，报告了实时 SM107 元数据 smoke 测试通过，但明确说明该测试未加载模型权重或执行内核，仅验证策略和包 API 边界。

• 暂无高价值评论线程

风险与影响

• 风险：
  • 硬件兼容性风险：SM107 上的 FlashInfer 原生 artifact 尚未验证，可能导致数值错误或运行失败。PR 保持 draft 状态直到官方 artifact 验证通过。
  • 回归风险：修改仅涉及一个条件，但若 SM107 上的 FlashInfer 路径有问题，可能影响所有 Kimi-K3 MXFP4 模型在 SM107 上的推理。
  • 缺失测试：PR 描述中提到添加单元测试，但提交列表中第二个 commit 是'Remove Kimi K3 SM107 override unit test'，表明新增的测试被移除了，当前没有直接关联的测试文件变更。
• 影响：
  • 用户影响：对于在 SM107 上运行 Kimi-K3 打包 MXFP4 模型的用户，auto 后端现在会正确选择 FlashInfer MXFP4，避免显存耗尽问题。
  • 系统影响：影响范围仅限于 Kimi-K3 模型和 SM107 架构，不涉及其他架构或模型。
  • 团队影响：需要等待官方 FlashInfer artifact 验证，PR 目前保持 draft 状态，合并受到依赖门控限制。
  • 风险标记：依赖外部验证, 缺少测试覆盖

关联脉络

• PR #33997 Policy follow-up: PR 描述中明确提到本 PR 是 #33997 的策略跟进。