#44747 [Cohere] Fix Cohere2MoE weight loading when using Transformers ≥5.10
原始 PR · 作者 Terrencezzj · 合并时间 2026-06-09 21:27
修复 Cohere2MoE 在 Transformers >=5.10 下的权重加载
值得精读并合入。变更逻辑清晰,影响范围小,修复了对上游库版本变化的关键依赖。建议后续补加单元测试,验证不同 `first_k_dense_replace` / `mlp_layer_types` 组合下的行为。
参与讨论