DCP 组内复制 KV head,修复 GQA 模型 DCP 精度错误
值得精读。该 PR 是 DCP(decode context parallelism)下 GQA 正确性修复的范本:`get_num_kv_heads` 的 `dcp_size` 参数化与 `QKVParallelLinear` 的 Q/K/V 布局解耦是两个关键设计决策,默认参数回退保证了非 DCP 路径零行为变化。建议关注三点:一是 draft 与 target 在 DCP 语义上的差异及其测试表达;二是后续 `--dcp-replicate-q-proj` 两种模式的落地(Q 复制后可进一步省去组内权重冗余);三是 KV 容量随 head 复制而下降的容量规划。
参与讨论