#37547 [Bugfix][ROCm] Fix lru_cache on paged_mqa_logits_module
原始 PR · 作者 gronsti-amd · 合并时间 2026-03-27 03:01
修复ROCm后端paged_mqa_logits_module的lru_cache失效,提升性能。
建议快速审查此PR,以理解lru_cache的正确使用方式。关注设计决策:确保缓存函数在模块级别定义以避免作用域问题。对于工程师,这是一个学习Python装饰器和性能优化的好例子,值得精读其简单但有效的修复思路。
参与讨论