MoE LoRA 重构为显式上下文传递
该 PR 值得精读。它展示了一个高质量重构案例:将隐式装饰器逻辑转换为显式上下文传递的模块化设计。重点关注 MoELoRAContext 的传播路径(从 FusedMoEWithLoRA 构造,通过 FusedMoEModularMethod 传入 FusedMoEKernel 再到 FusedMoEExpertsModular)以及 LoRAExpertsMixin 如何简化专家类的 LoRA 集成。开发者在为新的专家后端添加 LoRA 支持时,应参考此模式。
参与讨论