执行摘要
此PR为Flashinfer MLA Sparse attention backend添加了FP8 KV缓存支持，通过启用标准fp8格式，在DeepSeek V3.2模型上实现了约14%的吞吐提升。变更涉及backend扩展、dtype转换逻辑和测试更新，旨在优化性能同时处理与FlashMLA自定义格式的兼容性。
功能与动机
PR的动机是提升推理性能，具体引用PR body中的表述："This PR enables fp8 kv cache for Flashinfer MLA Sparse attention backend (tracked by #35805)"。基准测试显示，使用Flashinfer backend相比FlashMLA，在fp8 kv cache下吞吐量提升了14%，突显了性能优化的需求。
实现拆解
实现分为三个核心部分：
- Backend层修改：在
vllm/v1/attention/backends/mla/flashinfer_mla_sparse.py中，添加fp8和fp8_e4m3到supported_kv_cache_dtypes，并设置supports_quant_query_input = True以支持量化查询输入。
- Attention层逻辑：在
vllm/model_executor/layers/attention/mla_attention.py中，引入自动dtype转换：当使用FLASHMLA_SPARSE时，将fp8转换为fp8_ds_mla；对于FLASHINFER_MLA_SPARSE，则使用标准fp8，并添加日志信息通知用户。
- 测试与文档：更新
tests/v1/attention/test_sparse_mla_backends.py以包含fp8测试，并修改文档生成脚本以排除FlashMLA_SPARSE的fp8别名。
评论区精华
review讨论聚焦于fp8格式的差异和代码设计：
- 设计权衡：gemini-code-assist[bot]指出："This assertion assumes that kv_cache_dtype has already been converted... makes this implementation dependent on its caller"，建议backend自行处理别名，但作者wzhao18回应："I don't see a trivial solution... so will leave this as it is for now"。
- 准确性关切：pavanimajety询问："why is there an accuracy loss?"，LucasWilkinson澄清："FlashMLASparse uses the special per-token quantization scheme... implying this is their intended fp8 kv-cache deployment"。
- 决策结论：最终添加警告日志，告知用户使用Flashinfer时可能存在的准确性差异，确保透明性。
风险与影响
技术风险：主要风险包括准确性损失（由于fp8格式不同可能导致模型输出偏差）、兼容性问题（硬编码dtype转换缺乏灵活性）和性能波动（基准测试结果可能因环境而异）。
影响范围：用户在使用DeepSeek V3.2等模型时，可通过选择Flashinfer backend获得性能提升，但需注意格式选择；系统层面扩展了fp8支持，增加了配置复杂性；团队需维护两种格式，并持续监控评测结果。
关联脉络
此PR关联到issue #35805（跟踪功能开发）和PR #37252（关于默认backend选择），显示vllm项目在优化attention backend性能上的持续演进。近期历史PR如#33695（FP8 KV缓存优化）也涉及类似量化主题，表明团队在fp8技术栈上的积累和迭代。
参与讨论