完善 FlashInfer one-sided All2All,支持 DeepSeek Blockwise FP8 与序列并行
值得精读。该 PR 展示了如何将一个分布式通信后端的“载荷字节量”概念抽象为中央函数,并用显式校验防止 shape/dtype 不匹配,设计上具有可扩展性。建议重点阅读 `all2all_utils.py` 中的布局函数和 `trtllm_fp8_moe.py` 中的 scale 校验函数,它们为同类问题提供了可复用的模式。若团队正在使用 FlashInfer one-sided A2A 或计划支持更多量化格式,此 PR 是重要参考。
参与讨论