#23173 fix: pass v_head_dim to MHA KV pools and validate MiMo HiCache geometry
原始 PR · 作者 alphabetc1 · 合并时间 2026-04-22 10:48
修复 MiMo 模型在 HiCache 中因 v_head_dim 缺失导致的 V 缓存分配错误。
该 PR 值得精读,因为它揭示了 KV 缓存池在支持异构注意力头维度时的设计缺陷。关注点包括:`v_head_dim` 如何从模型配置中派生,以及不同硬件后端(如 NPU)的参数兼容性处理。
参与讨论