修复 MTP/EAGLE 推理下 OffloadingConnector 的零命中回归,确保 CPU 卸载缓存能正确服务 KV。
该 PR 非常值得精读。它不仅修复了一个影响面广且隐蔽的性能 bug,其分析过程、根因分解和多方独立硬件验证也堪称典范。三个独立缺陷的组合修复逻辑清晰,测试设计周密,特别是针对混合模型的回归测试。对于从事 KV 缓存管理、推理优化或分布式系统的工程师,该 PR 提供了关于复杂状态管理和边界条件处理的重要洞察。建议关注 `storable_chunks` 中完成状态对存储排除的提升逻辑,以及 `_lookup_complete_chunks` 中跨组粒度交互的细节。
参与讨论