#38998 Revert "[vLLM IR] gemma_rms_norm"
原始 PR · 作者 robertgshaw2-redhat · 合并时间 2026-04-05 05:48
回退GemmaRMSNorm的IR重构,修复残差张量dtype不一致导致的测试失败。
建议技术管理者关注此PR,因为它揭示了vLLM IR集成中的设计权衡:在追求性能优化时,必须确保类型安全。工程师应精读layernorm.py的变更,学习如何处理残差张量的dtype转换,并参考review讨论避免类似错误;同时,可对比#38780的原始设计,评估未来是否重新引入IR优化。
参与讨论