执行摘要

• 一句话：HiSparse 支持 FP8 KV cache 后端路由
• 推荐动作：该 PR 是一个小而优雅的改进，通过简单的路由逻辑扩展了 HiSparse 的功能。值得精读的部分是 _set_default_nsa_backends 中条件判断的设计思路，以及 check_server_args 中 dtype 与后端配对校验的灵活性。建议合入。

功能与动机

flashmla_sparse 不接受 FP8 输入，使得 HiSparse 此前只能使用 BF16 KV cache；而 flashmla_kv 已支持原生 FP8 + 稀疏注意力（is_fp8_kvcache=True + indices=...），HiSparse 的 hot-buffer indices 与其 indices 接口兼容，因此只需根据 KV dtype 路由到正确后端即可解锁 FP8 KV cache 支持。

实现拆解

1. 后端默认值选择逻辑调整（_set_default_nsa_backends 方法）：当启用 HiSparse 时，根据 kv_cache_dtype 确定默认后端：fp8_e4m3 -> flashmla_kv，bfloat16（或其他）-> flashmla_sparse。修改了日志信息以包含当前 dtype。
2. 验证规则更新（check_server_args 方法）：新增对 kv_cache_dtype 合法性的检查，只允许 bfloat16、auto 或 fp8_e4m3。并且基于 dtype 构建允许的后端集合：BF16 只允许 flashmla_sparse，FP8 只允许 flashmla_kv，其他 dtype 允许两者但会有后续校验。移除了之前仅允许 bfloat16 和 flashmla_sparse 的硬编码限制。
3. 无其他文件或测试配套变更：整个 PR 仅修改 server_args.py 一个文件，没有新增测试、配置文件或文档。

关键文件：

• python/sglang/srt/server_args.py（模块 服务配置；类别 source；类型 core-logic；符号 _set_default_nsa_backends, check_server_args）: 唯一修改的文件，包含核心逻辑变更：后端选择逻辑和验证规则，实现了 HiSparse 对 FP8 KV cache 的支持。

关键符号：_set_default_nsa_backends, check_server_args

关键源码片段

python/sglang/srt/server_args.py

唯一修改的文件，包含核心逻辑变更：后端选择逻辑和验证规则，实现了 HiSparse 对 FP8 KV cache 的支持。

# python/sglang/srt/server_args.py
​
# 在 _set_default_nsa_backends 方法中（约第 1590 行）：
if self.enable_hisparse:
    # 根据 KV cache dtype 决定默认后端：
    # - fp8_e4m3 -> flashmla_kv（原生 FP8 + 稀疏注意力）
    # - bfloat16 -> flashmla_sparse（BF16 稀疏注意力）
    hisparse_default_backend = (
        "flashmla_kv" if kv_cache_dtype == "fp8_e4m3" else "flashmla_sparse"
    )
    if not user_set_prefill:
        self.nsa_prefill_backend = hisparse_default_backend
    if not user_set_decode:
        self.nsa_decode_backend = hisparse_default_backend
    logger.warning(
        f"HiSparse enabled ({kv_cache_dtype}): using NSA backends "
        f"prefill={self.nsa_prefill_backend}, decode={self.nsa_decode_backend}."
    )
    return

# 在 check_server_args 方法中（约第 6775 行）：
if self.enable_hisparse:
    # 限制 KV cache dtype 合法值
    if self.kv_cache_dtype not in ("bfloat16", "auto", "fp8_e4m3"):
        raise ValueError(
            f"HiSparse requires bfloat16 or fp8_e4m3 KV cache, "
            f"but got --kv-cache-dtype={self.kv_cache_dtype}. "
        )
​
    # 根据 dtype 允许的后端集合
    allowed_backends_for_dtype = {
        "bfloat16": {"flashmla_sparse"},
        "fp8_e4m3": {"flashmla_kv"},
    }.get(self.kv_cache_dtype, {"flashmla_sparse", "flashmla_kv"})
​
    for attr, label in [("nsa_prefill_backend", "prefill"),
                        ("nsa_decode_backend", "decode")]:
        backend = getattr(self, attr)
        if backend is not None and backend not in allowed_backends_for_dtype:
            raise ValueError(
                f"HiSparse with --kv-cache-dtype={self.kv_cache_dtype} requires "
                f"--nsa-{label}-backend in {sorted(allowed_backends_for_dtype)}, "
                f"but got {backend}."
            )

评论区精华

Review 评论数为 0，但有 3 位 reviewer（xiezhq-hermann、ShangmingCai、hzh0425）均批准了 PR，表明变更获得团队认可。评论中的讨论主要是 CI 触发（/tag-and-rerun-ci、/rerun-test），未涉及技术争论。

• 暂无高价值评论线程

风险与影响

• 风险：
  1. 后向兼容风险：之前 HiSparse 强制使用 flashmla_sparse，且 KV dtype 必须为 bfloat16；现在 FP8 场景下默认切换到 flashmla_kv。若用户显式设置了 --nsa-decode-backend=flashmla_sparse 且使用 FP8 dtype，校验会报错，这可能会导致已有配置失败，但属于预期行为。
  2. 功能风险：flashmla_kv 对 FP8 稀疏注意力的支持程度需要额外验证（如精度），但 PR body 中附有精度对比图且关联 Issue #13832 已关闭，表明风险可控。
  3. 无测试覆盖：本次变更没有新增测试，依赖已有测试（如 test_dsa_models_hisparse.py）进行回归。
• 影响：
  1. 用户/开发者：HiSparse 用户现在可以使用 FP8 KV cache，在支持 FP8 的硬件上（如 H100）可能获得更高吞吐或更低显存占用。需要显式设置 --kv-cache-dtype fp8_e4m3，这已在 PR body 中给出示例。
  2. 系统：仅影响 HiSparse 开启路径的注意力后端选择逻辑，非 HiSparse 路径不受影响。
  3. 团队：代码变更量小，风险可控，可快速合入。
     - 风险标记：无新增测试覆盖, 配置兼容性变更

关联脉络

• PR #13841 [FlashMLA] Support FP8 KV cache: PR body 中关联，flashmla_kv 支持 FP8 是此 PR 的前置条件。
• PR #13832 [Bug] flashmla fp8 kernel deepseek accuracy problem: 关联 issue，FP8 精度问题已被修复，此 PR 借用了修复后的 flashmla_kv 内核。
• PR #13087 FP8 KV cache for flashmla: 关联 issue 中提及，初始 FP8 KV cache 实现。