执行摘要
此PR将MLA（Multi-Head Latent Attention）模型在SM100设备上的预填充默认后端从TRT-LLM改回FA4，以恢复FA4的性能优势。此前因FA4导致Kimi-K2.5模型输出NaN问题而临时切换至TRT-LLM，现上游Flash-Attention已修复该问题。变更仅修改一个配置标志，影响使用MLA模型的场景，需验证修复彻底性。
功能与动机
为什么做：之前PR #38562因Issue #36763（Kimi-K2.5模型输出NaN）将默认后端从FA4切换为TRT-LLM。现在上游Flash-Attention已通过commit 02931551ece7eb7f36e94302ad79daee6beda2e6修复了该问题（通过PR #38690集成），因此可以重新启用FA4。
关键表述：PR body明确指出“FA4的NaN问题已解决”和“由于FA4更优的性能（见PR #34732中的基准测试）”，所以恢复其为默认后端。
实现拆解
变更仅涉及一个文件：
| 文件 |
修改内容 |
影响 |
vllm/config/attention.py |
将AttentionConfig.use_trtllm_ragged_deepseek_prefill默认值从True改为False |
在SM100设备上，MLA预填充默认使用FA4而非TRT-LLM后端 |
代码逻辑：
class AttentionConfig:
use_trtllm_ragged_deepseek_prefill: bool = False # 从True改为False
评论区精华
review讨论非常简短，仅有两个评论：
- gemini-code-assist[bot]：确认变更内容为“将use_trtllm_ragged_deepseek_prefill默认值从True改为False”。
- yewentao256：直接批准“LGTM, thanks for the work!”。
没有技术争议，表明团队对上游修复和性能数据已达成共识。
风险与影响
风险：
- 正确性风险：FA4后端的NaN问题虽已修复，但需确保vLLM集成正确（PR #38690），否则可能重现Issue #36763中的输出异常。
- 兼容性风险：默认值变更可能影响现有部署，特别是那些隐式依赖TRT-LLM后端行为的应用。
- 性能波动：虽然FA4通常性能更优，但具体场景下可能与TRT-LLM有差异，需监控。
影响：
- 用户：使用MLA模型（如Kimi-K2.5）在SM100设备上的用户将获得更好的预填充性能，但需验证输出质量。
- 系统：预填充阶段的延迟和吞吐量可能改善，但依赖硬件和模型特性。
- 团队：简化配置管理，但需加强相关模型的测试覆盖。
关联脉络
此PR是vLLM注意力后端演进的一部分：
- 历史PR：直接撤销PR #38562的更改，两者形成“问题出现-临时修复-根本解决”的链条。
- 依赖修复：PR #38690集成了上游Flash-Attention修复，是本PR的前提。
- 性能依据：PR #34732提供了FA4的性能基准数据，支持本次切换。
- 更大趋势：近期多个PR（如#39123、#39014）关注注意力后端优化，显示团队持续改进核心组件性能。
整体上，这反映了vLLM在平衡性能与正确性时的迭代过程：优先解决正确性问题，待上游修复后恢复性能优化。
参与讨论