执行摘要

本PR移除了FlashInfer GDN解码内核与no_buffer调度策略的不兼容限制，并在检测到SM100+ GPU和bfloat16状态时默认使用FlashInfer解码后端，解决了之前的精度问题并带来高达4.7%的吞吐量提升。

功能与动机

动机源于Issue #20791中报告的精度下降问题，根因是FlashInfer的bf16解码内核存在OOB内存访问。随着FlashInfer v0.6.7修复该问题（PR #2810），本PR通过移除守卫并设置默认值，启用性能优化。引用PR body中的表述："The root cause was fixed in FlashInfer v0.6.7 via flashinfer-ai/flashinfer#2810。With PR #21422 merged, we are able to remove this guard and proceed with further benchmarking."

实现拆解

关键改动在python/sglang/srt/server_args.py文件中的两个函数：

• 在_handle_mamba_radix_cache函数中，移除以下代码块：
  

  if (
      self.linear_attn_decode_backend == "flashinfer"
      and self.mamba_scheduler_strategy == "no_buffer"
  ):
      raise ValueError(...)
  

• 在_handle_linear_attn_backend函数中，添加条件逻辑自动设置默认值：
  

  if (
      self.linear_attn_decode_backend is None
      and is_sm100_supported()
      and self.mamba_ssm_dtype == "bfloat16"
      and self.speculative_algorithm is None
  ):
      self.linear_attn_decode_backend = "flashinfer"
  

评论区精华

Review过程中无实质性讨论，仅由ispobock批准。讨论重点集中在CI测试通过上，如Issue评论中所示：

• 用户YAMY1234通过命令/tag-and-rerun-ci和/rerun-failed-ci触发测试。
• Fridge003指定测试test_qwen35_models.py并确认通过后合并。
  这表明变更经过验证，团队依赖自动化测试确保质量。

风险与影响

• 风险：
  1. 回归风险：如果FlashInfer v0.6.7仍有隐藏bug，可能导致精度下降；
  2. 兼容性：默认逻辑仅适用于SM100+和bf16配置，其他硬件或数据类型不生效；
  3. 依赖管理：需确保部署环境中FlashInfer版本正确。
• 影响：用户现在可以无限制地使用FlashInfer with no_buffer，获得性能优化；系统在SM100+上自动选择高效后端，提升资源利用率；团队需维护相关测试，防止未来变更破坏默认行为。

关联脉络

• 与PR #21422紧密相关，后者升级FlashInfer库至v0.6.7，为本PR提供基础修复。
• Issue #20791记录了原始bug，本PR通过移除守卫解决该问题。
• 从近期历史PR看，sglang项目持续优化硬件适配（如NPU、AMD）和调度策略（如scheduling标签下的PR），本PR是这一趋势的一部分，专注于提升GDN解码在特定GPU架构上的性能。