回退 Gemma-4 FA4 FP8 内核支持,恢复 FA3 默认路径
值得精读,尤其是 Gemma-4 模型支持、flash-attention 集成和推测解码方向的开发者。可以关注两点:一是回退选择了删除配置感知接口、改用 set_current_vllm_config 上下文对象,这种避免 API 扩散的做法可复用;二是 _copy_target_kv_scales 连同 FP8 KV scale 共享修复一起被移除,说明该问题在 MRV2 阶段被有意搁置。若团队计划重新引入 FA4,建议先建立覆盖 SM90 FP8 KV 与 MTP 的回归测试基线。
参与讨论