#48884 [Model] Add Inkling LoRA support [4/N]
原始 PR · 作者 WoosukKwon · 合并时间 2026-07-17 09:52
为 Inkling 模型添加完整的 LoRA 适配支持,涵盖注意力、MoE 及 lm_head
值得精读。该 PR 展示了在复杂 MoE 架构(共享 sink expert、共享-outer 布局、muP 缩放)中集成 LoRA 的系统性方法,设计决策(如条件选择线性层、检测包装器分流、共享 expert 维为 1 的存储模型)有参考价值。建议关注 InklingSinkExpertsLinear 的 _gamma_expand 实现和 _lora_forward 的 muP 合成逻辑。由于缺少真实适配器评估,在实际部署前应进行充分测试。
参与讨论