#35360 [PD] Deferred decode-side KV release for the NIXL backend
原始 PR · 作者 ShangmingCai · 合并时间 2026-08-19 17:29
为 NIXL 后端接入延迟解码端 KV 释放的 ABORT_ACK 机制
值得精读,尤其适合负责 PD / KV 传输正确性的工程师。三个设计决策值得学习:① 用「出队时计数」构造静默判定(`Failed and outstanding == 0` 才可安全 ack)的并发推理;② decode 侧为什么必须用独立 ZMQ 线程而非 NIXL notif 消费 ack(`num_threads=0` 下 notif 没有独立进度线程);③ 异常路径故意不 ack、交给超时兜底的「宁可保守不冒险」取舍。建议先在小规模 NIXL 部署做一次 abort-mid-transfer 端到端验证,再在生产开启该特性。
参与讨论