#21466 [2/n] lora - Shared outer experts and support qwen3_30b_a3b_instruct
原始 PR · 作者 yushengsu-thu · 合并时间 2026-04-01 05:06
为MoE模型添加共享外部专家LoRA支持,并提升Qwen3-30B-A3B-Instruct-2507兼容性。
建议技术管理者和工程师精读此PR,关注以下设计决策:共享权重的内存优化策略(通过expert_dim=1减少缓冲区大小)、运行时扩展的性能权衡、以及自动检测机制的局限性。同时,review中提到的缓冲区零化问题和性能优化值得优先考虑,以确保系统稳定性和效率。
参与讨论