新增 FlashInfer TensorRT-LLM 的 MXFP8 线性内核并接入后端选择器
值得精读。该 PR 展示了如何在一个既有线性后端选择器上安全地增加新 GPU 内核:通过 `_POSSIBLE_MXFP8_KERNELS` 优先级列表而非特殊分支控制默认选择、在权重加载后做一次性布局转换而非每次前向重复处理、用 custom op + fake 实现同时支持 eager 与 CUDA Graph/torch.compile 两条路径。对要扩展 FlashInfer 或 Quantization 内核的工程师,`process_weights_after_loading` 与 `apply_weights` 的职责切分以及 review 中关于“不要特殊 case”的取舍尤其值得参考。
参与讨论