#42095 [Attention] Make FlexAttention and FlashAttention use num-blocks first layouts
原始 PR · 作者 LucasWilkinson · 合并时间 2026-05-27 10:55
统一 FlexAttention 与 FlashAttention 为 num-blocks 优先的 KV 缓存布局
此 PR 属于核心基础设施变更,建议所有关注注意力后端、KV 连接器和分布式推理的成员精读。其中跨后端布局统一的策略(标准化 shape + stride_order)具有设计参考价值。已知的 int32 overflow 问题需跟踪上游进度,并在 vLLM 侧准备 workaround。
参与讨论