在线量化 amax 跨 TP 归约,保证权重量化跨拓扑一致
值得精读。三个设计决策尤其有借鉴价值:(1) `_is_tp_sharded` 用"amax 归约维 vs 权重切分维"的交集判定是否需要通信,避免对列并行 per-channel、EP 等本就全局的场景做无谓 collective;(2) MoE 归约组直接复用 EP 进程组而非新建组,简洁且与 DP x PCP x TP 展平切分严格对应;(3) 测试用 stub 进程组 + fake all-reduce 在单进程中验证多卡语义,并把断言写进 fake 函数内部,方法可推广到其他分布式工具函数测试。
参与讨论