#32564 [MoE Refactor] Create MK for TRTLLM Kernels
原始 PR · 作者 robertgshaw2-redhat · 合并时间 2026-03-04 02:39
重构 MoE 内核框架,引入 monolithic kernel 概念以支持 TRTLLM 内核。
建议技术管理者和核心工程师精读此 PR,重点关注以下方面: 1. **设计决策**:类层次结构从继承转向组合,以及 `maybe_make_prepare_finalize` 的统一接口设计,值得学习。 2. **关键文件**:仔细阅读 `modular_kernel.py` 和 `experts/trtllm_fp8_moe.py`,以理解 monolithic kernel 的实现机制。 3. **测试用例**:参考更新后的测试文件,了解如何适配新接口,确保自身代码的兼容性。
参与讨论