#51840 [Bugfix][TieredOffloading] : Return HIT_PENDING when KV promotion is triggered
原始 PR · 作者 varun-sundar-rabindranath · 合并时间 2026-08-12 10:07
KV 提升触发时改返回 HIT_PENDING,避免多余前缀扫描
值得与 RFC #51439 一起精读。这是一个典型的“枚举语义收紧”修复:用 1 行改动厘清 `RETRY`(位置不确定)与 `HIT_PENDING`(位置确定、物化中)的边界,并给出误用所致的 IO 开销量化证据。可继续关注 `vllm/v1/kv_offload/tiering/manager.py` 的 `lookup()` 扫描策略演进,以及 offloading scheduler 对 `HIT_PENDING` 消费逻辑是否有配套优化。
参与讨论