#48596 [Bugfix][KV Offloading] Offload last block at request finish and prevent reuse race
原始 PR · 作者 Alex-ai-future · 合并时间 2026-07-17 21:50
修复请求结束时末块KV未卸载及块重用竞态
建议合并。该修复解决了实际性能与正确性问题,实现简洁。值得关注的决策:链入 `finished_req_ids` 简化循环、worker中提交顺序的调整。代码review时可注意调度器状态管理的复杂性。
参与讨论