#39616 [ROCm][Feature] Enable AITER MLA attention backend to work with Eagle3 speculative decoding on ROCm
原始 PR · 作者 larryli2-amd · 合并时间 2026-04-20 22:44
允许AITER MLA注意力后端与Eagle3推测解码在ROCm上协同工作,提升吞吐量。
此PR值得精读,尤其对于关注注意力后端优化和推测解码集成的工程师。重点可关注:1) 如何通过`MultipleOf(1)`灵活声明支持块大小;2) 索引扩展内核的设计,在保持向后兼容的同时支持新功能;3) 状态管理从实例属性移至元数据对象的决策,以避免并发风险。
参与讨论