#39226 [Bugfix] Fix workspace resize leaking reserved GPU memory
原始 PR · 作者 czhu-cohere · 合并时间 2026-04-24 04:50
修复 MoE workspace 动态调整时的显存泄漏问题
值得精读。该 PR 解决了实际部署中遇到的显存泄漏问题,展示了在动态形状推理中管理 GPU 显存的典型权衡。建议关注 `empty_cache` 的性能影响,并评估后续是否在初始化阶段预留最坏情况 workspace 以避免运行时调整。
参与讨论