执行摘要
修复 kimi-linear 模型因缺少 scaling 属性导致的服务器启动错误。
根据PR body描述,self.scaling属性被删除导致在启动kimi-linear模型时出现AttributeError: 'ModelConfig' object has no attribute 'scaling',错误堆栈显示在attention后端初始化时访问失败,进而引发服务器启动错误。
该PR虽然改动小,但涉及模型配置核心逻辑,值得精读以了解MLA架构的scaling计算和rope_scaling处理设计。推荐关注_derive_model_shapes方法中的条件逻辑,并检查其他MLA架构是否需要类似修复。
在review中,gemini-code-assist[bot]指出:添加scaling属性虽解决了AttributeError,但MLA-based模型在使用rope_scaling(如Yarn)时需要调整该因子;同时,其他MLA架构如KimiVLForConditionalGeneration、DeepseekVL2ForCausalLM和MiniCPM3ForCausalLM也可能缺少scaling属性。作者yuan-luo回复'Fixed.',表明已处理rope_scaling调整,但未提及对其他架构的扩展,留下潜在维护隐患。
参与讨论