#42865 [KV Connector] Update lmcache kv_offloading_backend to use LMCacheMPConnector
原始 PR · 作者 maobaolong · 合并时间 2026-06-04 10:23
切换 LMCache 后端默认使用多进程连接器
建议阅读此 PR,因为它展示了如何将进程内 KV offloading 设计迁移为外部服务器模式。关键设计决策包括:使用多进程分离解耦缓存管理与推理引擎、利用 connection string 默认值简化配置、移除不再需要的配置项以避免用户误解。对于计划集成外部缓存系统的开发者有很好的参考价值。
参与讨论