#41269 [Bugfix][KV Transfer][NIXL] Notify P node on pre-admission rejection to free stranded KV blocks
原始 PR · 作者 Dao007forever · 合并时间 2026-05-10 13:52
新增提前拒绝通知机制,避免P节点KV块滞留
该PR值得详细审阅,特别是对于参与KV传输模块的工程师。主要看点包括: - 如何通过构造一个`abort_immediately=True`的合成请求来重用现有的`request_finished`钩子,避免了为清理而引入额外IPC。 - 在`_with_kv_transfer_rejection_cleanup`中利用`has_kv_connector`+`do_remote_prefill`双重门控,确保只对启用connector的请求执行通知。 - 对于社区用户,建议确认自定义EngineClient是否需要实现新方法以避免运行时错误。
参与讨论