#56157 [PCP][DCP] Enable PCP+DCP on sparse-MLA models
原始 PR · 作者 PatrykSaffer · 合并时间 2026-09-13 07:24
稀疏 MLA 模型开启 PCP+DCP:统一 chunk 排布修复集体通信挂起
值得精读。这是 vLLM 分布式并行(PCP×DCP 组合)在稀疏注意力模型上的一次关键落地,核心看点有三:①"所有 rank 派生一致的 collective 形状"这一不变式的工程化——通过确定性行序、短 prefill 复制、专用 shard 元数据字段三个手段共同实现;②`PCPGlobalChunkPlan` 的 deinterleave 索引设计,把 rank-major all-gather 布局无通信地还原为全局 token 顺序,是理解 PCP+DCP 数据流的最佳入口;③review 过程中从"全局 PCP schedule"到"按请求分组 + req_idx 传递"的重构,展示了如何在分布式代码中做减法。若要在生产使用 PCP+DCP,请同时追踪 fused all-reduce for CP groups 的 followup PR,并关注 decode 性能是否被接受。
参与讨论