#52466 [KV Connector] Add decode offloading to Mooncake Store consumers
原始 PR · 作者 chengy-sysu · 合并时间 2026-08-20 08:40
Mooncake Store 消费者新增 decode KV 卸载能力
值得精读。重点关注 4 个设计决策:(1)用 `store_job_id` 账本替代按 req_id 计数,抵御 preemption 与请求 ID 复用带来的状态污染;(2)KV event 的 parent 关系从 request hash 链推导,而非依赖 Store 返回顺序;(3)增量 token 快照加按功能开关裁剪元数据,避免长请求全量拷贝;(4)异步 store 生命周期下“调度器只持有 token 后缀、GPU block 由 worker 报告完成才释放”的 pin 语义。
参与讨论