执行摘要

• 一句话：修复 GDN verify 后端配置被覆盖，支持 NEXTN+bf16
• 推荐动作：值得花几分钟精读 gdn_backend.py 的 dispatcher 构造逻辑：它展示了一个小而清晰的“显式配置优先、自动规则兜底”的分发模式，且 PR 给出了可复现的崩溃证据和性能/精度数据。注意其局限——无测试配套且只 honor triton，后续若有 verify kernel 配置语义的扩展（如显式 flashinfer），建议先补齐 dispatcher 单测。

功能与动机

PR body 指出 GDNKernelDispatcher 的 verify kernel 完全由 decode/prefill 是否选择 FlashInfer 派生，导致服务器日志自相矛盾：Linear attention kernel backend: decode=triton, prefill=flashinfer, verify=triton 与 GDN kernel dispatcher: ... verify=FlashInferGDNKernel 不一致。更严重的是 SM90 上 FlashInfer MTP verify 路径（flashinfer.gdn_decode.gated_delta_rule_mtp）断言 SSM 状态必须为 fp32，任何 GDN 模型以 --mamba-ssm-dtype bfloat16 服务并启用 NEXTN 投机解码时会在启动期直接崩溃（AssertionError: initial_state must be float32, got torch.bfloat16），且当时没有任何手段强制改用能处理 bf16 状态的 Triton verify kernel。

实现拆解

1. 配置读取：在 GDNAttnBackend.__init__ 中新增 get_linear_attn_verify_backend() 调用（该函数来自 sglang.srt.layers.attention.linear.utils，负责解析 --linear-attn-verify-backend），并把结果作为第三个参数传给 GDNKernelDispatcher。
2. 构造签名扩展：GDNKernelDispatcher.__init__ 新增 verify_backend: Optional[LinearAttnKernelBackend] = None，默认 None 保证旧调用点兼容，无需改动其他构造方。
3. 分发优先级调整：verify kernel 选择改为三分支——显式 triton 直接生效；否则保留原自动规则（decode 或 prefill 为 FlashInfer 且 flashinfer_kernel.supports_target_verify 时复用 FlashInfer kernel）；其余回退 Triton。原注释中关于 SM90 fp32 状态与 SM100 bf16 适配的说明被改写为显式配置优先的语义。
4. 测试与配套：本次没有任何测试文件变更，未配置时的行为与旧版完全一致；性能与精度证据仅由 PR body 报告（H200 单卡、4096-in/1024-out、bs=64 2092.7→2143.4 tok/s、GSM8K-500 0.954），未落地为回归测试。

关键文件：

• python/sglang/srt/layers/attention/linear/gdn_backend.py（模块 GDN 后端；类别 source；类型 core-logic；符号 GDNKernelDispatcher, GDNAttnBackend）: 唯一改动文件，核心修复逻辑所在：dispatcher 增加 verify_backend 参数并让显式 triton 配置优先，同时保持未配置时自动规则不变。

关键符号：GDNKernelDispatcher.init, GDNAttnBackend.init

关键源码片段

python/sglang/srt/layers/attention/linear/gdn_backend.py

唯一改动文件，核心修复逻辑所在：dispatcher 增加 verify_backend 参数并让显式 triton 配置优先，同时保持未配置时自动规则不变。

# 片段 1：GDNKernelDispatcher.__init__ 中的 verify kernel 三级分发。
# 核心是新增的显式 triton 分支：此前 verify kernel 完全由 decode/prefill
# 是否为 FlashInfer 派生，导致 --linear-attn-verify-backend 被静默忽略，
# SM90 上 NEXTN + bf16 SSM 状态组合启动即崩溃。
if verify_backend is not None and verify_backend.is_triton():
    # 显式配置 triton verify：直接生效，绕开 FlashInfer 的 fp32 状态约束。
    self.verify_kernel = triton_kernel
    self.verify_kernel_is_flashinfer = False
elif (
    decode_backend.is_flashinfer() or prefill_backend.is_flashinfer()
) and flashinfer_kernel.supports_target_verify:
    # 未显式配置时保留历史自动规则：FlashInfer kernel 支持 MTP verify
    # （SM90 走 fp32 状态路径、SM100 走 bf16 适配）就复用它。
    self.verify_kernel = flashinfer_kernel
    self.verify_kernel_is_flashinfer = True
else:
    # 兜底回退 Triton verify kernel，与未修改前行为一致。
    self.verify_kernel = triton_kernel
    self.verify_kernel_is_flashinfer = False

# 片段 2：GDNAttnBackend.__init__ 中把显式 verify 后端传入 dispatcher。
# get_linear_attn_verify_backend() 读取 --linear-attn-verify-backend，
# 使显式配置能优先于 dispatcher 内部的自动派生。
decode_backend = get_linear_attn_decode_backend()
prefill_backend = get_linear_attn_prefill_backend()
verify_backend = get_linear_attn_verify_backend()
self.kernel_dispatcher = GDNKernelDispatcher(
    decode_backend, prefill_backend, verify_backend
)

评论区精华

该 PR 没有任何 review 评论与讨论线程，属于作者自行验证后合并的小型修复（2 个 commit，第二个为 merge main）。最有价值的论证来自 PR body 自述：一是启动日志中 verify 后端显示不一致；二是 FlashInfer 的 AssertionError: initial_state must be float32, got torch.bfloat16。核心设计取舍（显式配置优先、自动规则兜底）未经过多人讨论，因此该语义由后续演进承担验证压力。

• 暂无高价值评论线程

风险与影响

• 风险：
  • 无测试配套：改动没有任何单测或回归测试，verify 分发的三种组合（显式 triton / 未配置 + FlashInfer / 未配置 + 无 FlashInfer）没有自动化覆盖，回归只能依赖现有 CI 的模型测试间接发现。
  • 配置 honor 语义不对称：新逻辑只对显式 triton 生效；若用户显式配置 flashinfer verify 而 decode/prefill 均为 triton，会因自动规则不满足而静默回退到 triton，用户意图仍会被忽略。本次修改未扩大这一不对称，但也没有补全，属于已知盲区。
  • 兼容性：verify_backend 默认 None 时走原逻辑，行为与旧版一致；GDNKernelDispatcher 为模块内部类，外部直接构造风险低。
  • 影响：影响面集中在 GDN 线性注意力后端：修复使 SM90 上 --speculative-algorithm NEXTN + --mamba-ssm-dtype bfloat16 + --linear-attn-verify-backend triton 从不可用变为可用，扩大了 GDN 模型在 bf16 SSM 状态下的部署能力，并带来实测性能收益（bs=64 输出吞吐约 +2.4%）。对其他线性注意力后端与既有配置组合零影响。对团队而言，此 PR 确立了“显式 verify 配置优先于 dispatcher 自动推断”的语义，后续新增后端（如 CuTe DSL verify）时需要保持同一优先级约定。
  • 风险标记：缺少测试覆盖, 显式配置语义不对称

关联脉络

• PR #34782 [Fix] Make the DSpark draft num_token_non_padded host-to-device copy non-blocking: 同为 speculative decoding 路径的修复，消除被忽略或阻塞的同步/拷贝行为，与本 PR 处于 NEXTN 投机解码同一功能线上。
• PR #33857 [Perf] Skip trivial DSV4 nonpaged indexer logits: 同为 kernel 分发路径的条件优化：根据后端能力与条件跳过或切换 kernel，与本次 verify 后端分发的“尊重配置与后端能力”主题一致。