#51647 [ROCm] Pad non-aligned AITER MLA heads
原始 PR · 作者 LiuYinfeng01 · 合并时间 2026-08-19 05:37
AITER MLA 填充非对齐 head,Kimi-K3 TP4 吞吐提升约 40%
值得精读。该 PR 有三个值得借鉴的设计决策:一是在没有 capability API 时用“读 JIT 源码去空白搜索特征串 + lru_cache”做弱依赖探测,并在失败时保守回退;二是 reducer 与 metadata planner 必须双探测的完备性意识,避免只查一半导致 kernel 启动前崩溃;三是把填充语义(repeat_interleave vs tile-and-slice、零拷贝透传)收敛到单一 helper,并让元数据尺寸与 launch shape 同源,降低两处不同步的回归风险。
参与讨论