执行摘要

本次PR将Blackwell datacenter GPUs（SM100）上的默认多模态注意力后端从triton_attn切换为fa4（Flash Attention 4），基于基准测试显示TTFT和延迟显著提升（如P99 TTFT降低57%）。同时规避了RTX 5090（SM120）上的编译问题，确保变更仅影响稳定平台，是针对性性能优化。

功能与动机

变更动机源于性能基准数据：在模型Qwen/Qwen3.5-35B-A3B-FP8上，fa4后端在Blackwell GPU（SM100）相比triton_attn，在中等并发下TTFT降低18.7%、P99 TTFT降低57.0%。目标是通过后端优化提升多模态服务响应速度，同时由于FA4 CUTE内核在SM120上的编译问题，限制了变更范围以保持稳定性。

实现拆解

实现集中于文件python/sglang/srt/layers/attention/vision.py的_determine_attention_backend函数。核心改动如下：

• 更新注释，说明平台默认逻辑：CUDA Hopper（SM90）为"fa3"、Blackwell（SM100）为"fa4"、其他架构为"triton_attn"。
• 修改代码逻辑，通过get_device_capability()检测设备能力，动态选择后端：
  

  if major == 9:
      backend = "fa3"
  elif major == 10:
      backend = "fa4"
  else:
      backend = "triton_attn"
  

• 变更仅影响默认后端选择，服务器参数和构造函数参数优先级不变。

评论区精华

review讨论中，b8zhong提出兼容性疑虑：

"If I remember does FA4 work in CU12.x Docker? Since we switch to upstream FA4 and it has some compatibility issue with CU12 or something."
作者JustinTong0323回复澄清：
"The vision fa4 backend uses flash-attn-4>=4.0.0b4 ... it's already a required dependency ... so if there were a CU12.x compatibility issue, it would already be failing today for fa3 too."
讨论聚焦于依赖稳定性，结论是变更安全，无新风险。

风险与影响

风险：

• 编译风险：FA4 CUTE内核在SM120上有已知编译问题，PR通过限制SM100默认来规避，但未来扩展需测试。
• 依赖风险：fa4基于上游flash-attn-4，版本更新可能引入行为变化。
• 回归风险：变更仅影响默认选择，用户显式指定后端时无影响，但需确保fa4在SM100上稳定。

影响：

• 用户：Blackwell GPU用户自动获得性能提升，改善多模态服务体验。
• 系统：优化后端选择逻辑，增强平台适配性。
• 团队：变更微小易维护，但需监控依赖和平台兼容性。

关联脉络

从历史PR看，PR #17122修复GLM-4V模型的多模态注意力问题，标签含"multimodal"，与本PR共享功能模块；PR #21314优化SM120性能，涉及GPU架构特定优化，与本PR规避SM120问题的策略相关。整体上，这反映了仓库在多模态和GPU性能优化上的持续演进，强调平台适配和基准驱动决策。