#22122 [lora][moe] Virtual experts for LoRA MoE
作者 klshuster · 合并时间 2026-04-14 05:19
为LoRA+MoE引入虚拟专家计算,通过扁平化适配器-专家组合提升多LoRA适配器推理性能。
建议技术管理者和工程师精读 `virtual_experts.py` 内核实现和 `fused_moe_triton_kernels.py` 的修改,关注虚拟专家映射算法、split-K支持以及掩码加法设计,这些是性能优化的关键决策点。
参与讨论