执行摘要
本PR移除了FlashInfer GDN解码内核与no_buffer调度策略的不兼容限制，并在检测到SM100+ GPU和bfloat16状态时默认使用FlashInfer解码后端，解决了之前的精度问题并带来高达4.7%的吞吐量提升。
功能与动机
动机源于Issue #20791中报告的精度下降问题，根因是FlashInfer的bf16解码内核存在OOB内存访问。随着FlashInfer v0.6.7修复该问题（PR #2810），本PR通过移除守卫并设置默认值，启用性能优化。引用PR body中的表述："The root cause was fixed in FlashInfer v0.6.7 via flashinfer-ai/flashinfer#2810。With PR #21422 merged, we are able to remove this guard and proceed with further benchmarking."
实现拆解
关键改动在python/sglang/srt/server_args.py文件中的两个函数：
- 在
_handle_mamba_radix_cache函数中，移除以下代码块：
python
if (
self.linear_attn_decode_backend == "flashinfer"
and self.mamba_scheduler_strategy == "no_buffer"
):
raise ValueError(...)
- 在
_handle_linear_attn_backend函数中，添加条件逻辑自动设置默认值：
python
if (
self.linear_attn_decode_backend is None
and is_sm100_supported()
and self.mamba_ssm_dtype == "bfloat16"
and self.speculative_algorithm is None
):
self.linear_attn_decode_backend = "flashinfer"
评论区精华
Review过程中无实质性讨论，仅由ispobock批准。讨论重点集中在CI测试通过上，如Issue评论中所示：
- 用户YAMY1234通过命令
/tag-and-rerun-ci和/rerun-failed-ci触发测试。
- Fridge003指定测试
test_qwen35_models.py并确认通过后合并。
这表明变更经过验证，团队依赖自动化测试确保质量。
风险与影响
- 风险：1. 回归风险：如果FlashInfer v0.6.7仍有隐藏bug，可能导致精度下降；2. 兼容性：默认逻辑仅适用于SM100+和bf16配置，其他硬件或数据类型不生效；3. 依赖管理：需确保部署环境中FlashInfer版本正确。
- 影响：用户现在可以无限制地使用FlashInfer with no_buffer，获得性能优化；系统在SM100+上自动选择高效后端，提升资源利用率；团队需维护相关测试，防止未来变更破坏默认行为。
关联脉络
- 与PR #21422紧密相关，后者升级FlashInfer库至v0.6.7，为本PR提供基础修复。
- Issue #20791记录了原始bug，本PR通过移除守卫解决该问题。
- 从近期历史PR看，sglang项目持续优化硬件适配（如NPU、AMD）和调度策略（如scheduling标签下的PR），本PR是这一趋势的一部分，专注于提升GDN解码在特定GPU架构上的性能。
参与讨论