#37550 [Bugfix] Fix CPU backend crash in KV cache block zeroing
原始 PR · 作者 DorBernsohn · 合并时间 2026-03-23 19:35
修复 CPU 后端在零化 KV 缓存块时因 Triton GPU 内核导致的崩溃。
建议工程师快速浏览此 PR,重点关注 CPU 后端如何处理 KV 缓存无效位置,以及如何避免 GPU 内核调用。对于涉及 Triton 与 CPU 集成的开发者,此 PR 展示了简单而有效的设计决策。
参与讨论