#26049 Fix GLM NextN draft value head dim
原始 PR · 作者 yueming-yuan · 合并时间 2026-06-10 07:13
修复 GLM NextN draft 的 v_head_dim 推导
值得精读。虽然改动了 11 行,但其背后的 root cause 揭示了 MHA/MLA 混合架构下的 `v_head_dim` 继承陷阱。核心设计要点是:当模型配置源自 MLA 架构时,`v_head_dim` 可能远大于 MHA draft 的真实 `head_dim`,必须在架构重写时显式修正。此模式可作为未来类似 MHA-over-MLA draft adapter 的参考。
参与讨论