#40664 [BugFix]fix Qwen3 MoE call gate twice
原始 PR · 作者 jikunshang · 合并时间 2026-04-23 13:04
修复 Qwen3 MoE 模型前向传播中门控层被重复计算的问题。
该 PR 值得精读,因为它展示了 vLLM 中 MoE 模型如何通过 `is_internal_router` 属性来统一处理内部/外部路由器调用,这是一个重要的设计模式。关注 `Qwen3MoeSparseMoeBlock.forward` 方法中的条件分支,理解其如何避免重复计算。
参与讨论