#38502 [ROCm] Cap Triton paged attention block size to fix ROCm shared memory OOM
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-05-10 18:03
限制 Triton 注意力块大小为 128 修复 ROCm 共享内存溢出
值得仔细阅读,尤其是 `has_native_kv_cache_layout` 的设计和 TRITON_BLOCK_SIZE 硬上限的权衡。展示了如何通过块布局检测与内核选择协同解决硬件兼容性问题,对理解 ROCm 注意力实现和 Hybrid Mamba 支持有参考价值。
参与讨论