#54162 [Bugfix][MRV2] Release model and KV cache on in-process engine shutdown
原始 PR · 作者 okorzh-amd · 合并时间 2026-08-29 13:09
修复进程内引擎关闭后模型与 KV 缓存不释放
值得精读:PR 展示了如何通过 GC 根分析定位模块级持有者,并结合 GPU 实测数据做出设计取舍(放弃 KV sever)。重点关注 `WeakKeyDictionary` 对 `get_language_model` 缓存语义的影响,以及 finalizer 弱引用化后对编译 wrapper 清理路径的影响。与 #54246 合并前需协调重叠改动。
参与讨论