执行摘要

此PR将MLA（Multi-Head Latent Attention）模型在SM100设备上的预填充默认后端从TRT-LLM改回FA4，以恢复FA4的性能优势。此前因FA4导致Kimi-K2.5模型输出NaN问题而临时切换至TRT-LLM，现上游Flash-Attention已修复该问题。变更仅修改一个配置标志，影响使用MLA模型的场景，需验证修复彻底性。

功能与动机

为什么做：之前PR #38562因Issue #36763（Kimi-K2.5模型输出NaN）将默认后端从FA4切换为TRT-LLM。现在上游Flash-Attention已通过commit 02931551ece7eb7f36e94302ad79daee6beda2e6修复了该问题（通过PR #38690集成），因此可以重新启用FA4。

关键表述：PR body明确指出“FA4的NaN问题已解决”和“由于FA4更优的性能（见PR #34732中的基准测试）”，所以恢复其为默认后端。

实现拆解

变更仅涉及一个文件：

代码逻辑：

class AttentionConfig:
    use_trtllm_ragged_deepseek_prefill: bool = False # 从 True 改为 False

评论区精华

review讨论非常简短，仅有两个评论：

• gemini-code-assist[bot]：确认变更内容为“将use_trtllm_ragged_deepseek_prefill默认值从True改为False”。
• yewentao256：直接批准“LGTM, thanks for the work!”。

没有技术争议，表明团队对上游修复和性能数据已达成共识。

风险与影响

风险：

1. 正确性风险：FA4后端的NaN问题虽已修复，但需确保vLLM集成正确（PR #38690），否则可能重现Issue #36763中的输出异常。
2. 兼容性风险：默认值变更可能影响现有部署，特别是那些隐式依赖TRT-LLM后端行为的应用。
3. 性能波动：虽然FA4通常性能更优，但具体场景下可能与TRT-LLM有差异，需监控。

影响：

• 用户：使用MLA模型（如Kimi-K2.5）在SM100设备上的用户将获得更好的预填充性能，但需验证输出质量。
• 系统：预填充阶段的延迟和吞吐量可能改善，但依赖硬件和模型特性。
• 团队：简化配置管理，但需加强相关模型的测试覆盖。

关联脉络

此PR是vLLM注意力后端演进的一部分：

1. 历史PR：直接撤销PR #38562的更改，两者形成“问题出现-临时修复-根本解决”的链条。
2. 依赖修复：PR #38690集成了上游Flash-Attention修复，是本PR的前提。
3. 性能依据：PR #34732提供了FA4的性能基准数据，支持本次切换。
4. 更大趋势：近期多个PR（如#39123、#39014）关注注意力后端优化，显示团队持续改进核心组件性能。

整体上，这反映了vLLM在平衡性能与正确性时的迭代过程：优先解决正确性问题，待上游修复后恢复性能优化。