Prhub

vllm-project/vllm · 标签视图

标签列表

聚合结果

kv-cache 相关 PR

2026-09-15
缺陷修复 重要性 6.66 洞察度 7.00

修复 KDA 中段 checkpoint 挤占 prefix cache 淘汰热前缀

值得精读,但重点不在改动规模,而在三处设计取舍: 1. 看 `MambaManager._cache_partial_tail_block` 的必填参数设计——把 retention 策略从隐式状态提升为强制显式契约,是这类“静默退化”问题值得复用的防回归模式; 2. 看短路分支为何要在 `return None` 之前调用 `_maybe_evict_cached_block`——理解“slot 被 checkpoint state 覆盖前必须摘掉旧 hash”这一不变量,以及用私有 API 替代 `evict_blocks` 的取舍; 3. 看 `test_transient_checkpoint_evicts_retained_boundary_hash` 如何把 checkpoint slot 与 shared-prefix 边界块强行重合,这是一个容易被漏掉的交叉场景。 审阅建议:如果所在团队使用 Mamba/KDA 混合模型并配置了 latest-only 保留,建议在本 PR 之后补一轮模型级 hybrid KDA 工作负载的前缀命中率与 ITL 回归;对 `num_tokens` 语义敏感的 chunked prefill / resume 路径,建议额外构造 sibling 复用用例确认例外条件覆盖充分。

2026-08-07

#50276 [Bugfix] Fix packed KV block zeroing stride

原始 PR · 作者 wangxian001 · 合并时间 2026-08-07 04:49

缺陷修复 重要性 6.73 洞察度 6.00

修复 packed KV 清零步长,防止越界写与相邻数据污染

值得精读。重点关注两点:一是诊断方法论——异步 CUDA 错误下如何用同步检查点把“表象堆栈”收敛到真实写坏内存的环节,这一思路对排查同类 CUDA 内存损坏问题很有参考价值;二是实现上“块步长”与“清零页宽”解耦 + 虚拟块展开为独立 segment 的设计,可作为处理非均匀/非连续视图地址计算的范本。回归测试 `test_packed_segment_zeros_only_its_last_block_page` 短小但对回归覆盖非常精准。

2026-08-06
缺陷修复 重要性 6.81 洞察度 5.00

修复 hidden-state 缓存层破坏混合前缀缓存分块导致的启动崩溃

值得精读。此 PR 展示了典型的"隐式全局状态耦合导致启发式判断失效"的回归修复:EngineCore 全局重置 `cache_config.block_size` 的时序行为与 `kv_cache_utils` 推断逻辑之间的隐性依赖。修复思路(用模式判断替代数值比较、用 GCD 因子约束保证整除性)对维护 V1 hybrid KV cache 的工程师有直接参考价值;同时可关注 ivanium 提出的 follow-up:将 GCD 逻辑统一收敛进 `resolve_kv_cache_block_sizes`。