执行摘要

• 一句话：紧凑化 DSV4 MXFP4 索引器 KV cache 与 packed group 重叠布局
• 推荐动作：核心设计决策值得仔细阅读：将 _bucket_layers_by_page_size 替换为 _get_packed_kv_cache_layout，从 slot 对齐改为 offset 叠加，显著简化 packing 逻辑。建议关注 _max_memory_usage_bytes_from_groups 的后续兼容性。

功能与动机

当前 DeepSeek V4 使用 MXFP4 indexer K cache 时，仍按 FP8 格式分配内存（每行 132 字节），浪费近一半空间。此外，packed KV cache planner 按 page size 分桶，不同 cache group 混合时引入 padding 空洞。为了更高效利用内存，需要紧凑计算 MXFP4 行长并采用重叠组布局消除 padding。

实现拆解

1. 重新计算 MXFP4 indexer 行大小（vllm/models/deepseek_v4/attention.py）：在 DeepseekV4Indexer.__init__ 中，当 use_fp4_kv 为真时，用 head_dim // 2 + head_dim // MXFP4_BLOCK_SIZE 代替原来的 head_dim + head_dim // quant_block_size * 4，从 132 字节降到 68 字节。

2. 统一 packing 布局算法（vllm/v1/core/kv_cache_utils.py）：新增 _get_packed_kv_cache_layout 替代 _bucket_layers_by_page_size。新函数为每个 cache group 中的层按顺序分配字节偏移，然后将所有组在同一 block 内的偏移列表合并，返回 (block_stride, offset→[layer_names]) 元组。block_stride 取各 group 总字节的最大值，确保能容纳任意一个 group。

3. 移除跨组 padding（vllm/v1/core/kv_cache_utils.py）：删除 _get_kv_cache_groups_uniform_groups 中为 SWA/state group 与 full-MLA 组对齐而插入的 padding 逻辑，因为新 layout 不再需要 page size 对齐。

4. 更新内存计算（vllm/v1/core/kv_cache_utils.py）：_pool_bytes_per_block 和 _get_kv_cache_config_packed 中使用新 _get_packed_kv_cache_layout 返回的 block_stride 代替原来的 sum-buckets 计算。

5. 配套测试（tests/v1/core/test_contiguous_kv_packing.py）：新增 _packing_by_layer、_make_views、_make_page_group 辅助函数，以及 5 个新测试用例，覆盖重叠布局、stride 独立性、DSV4 Pro stride 值和组内不重叠等场景。

关键文件：

• vllm/v1/core/kv_cache_utils.py（模块 缓存层；类别 source；类型 core-logic；符号 _get_packed_kv_cache_layout, _bucket_layers_by_page_size）: 核心文件，修改 packing 布局算法，新增 _get_packed_kv_cache_layout 替代 _bucket_layers_by_page_size，并移除跨组 padding。
• tests/v1/core/test_contiguous_kv_packing.py（模块 单元测试；类别 test；类型 test-coverage；符号 _packing_by_layer, _make_views, _make_page_group, test_compact_cache_overlays_fp32_state_group）: 新增丰富测试覆盖新布局的正确性，包括重叠、独立性和 DSV4 特有场景。
• vllm/models/deepseek_v4/attention.py（模块 DSV4 模型；类别 source；类型 data-contract；符号 init）: 按条件紧凑计算 indexer K cache 的 head_dim，减少 FP4 模式下的内存分配。

关键符号：_get_packed_kv_cache_layout, _pool_bytes_per_block, _get_kv_cache_config_packed, _run, _packing_by_layer, _make_views, _make_page_group, test_compact_cache_overlays_fp32_state_group, test_deepseek_v4_pro_stride, test_layouts_are_disjoint_within_each_group, test_strided_views_are_independent, test_group_owned_blocks_do_not_alias, DeepseekV4Indexer.init

关键源码片段

vllm/models/deepseek_v4/attention.py

按条件紧凑计算 indexer K cache 的 head_dim，减少 FP4 模式下的内存分配。

if self.use_fp4_kv:
    # MXFP4 每字节存储两个值，每 32 个值需一个 UE8M0 字节
    # head_dim 字节数 = 64 个 packed 值 + 4 个 UE8M0 scales = 68
    k_cache_head_dim = self.head_dim // 2 + self.head_dim // MXFP4_BLOCK_SIZE
else:
    # FP8 模式保持与 V3.2 相同布局 : 128 fp8 + 4 fp32 scale = 132
    k_cache_head_dim = (
        self.head_dim + self.head_dim // self.quant_block_size * 4
    )

评论区精华

claude[bot] 在 review 中指出移除 padding 后，_max_memory_usage_bytes_from_groups 仍假设所有 group 有相同 page size，可能失效。但项目维护者 ivanium 和 LucasWilkinson 均认为新布局已消除跨组对齐要求，该函数得以保持简单；review 结论是设计正确、无需额外修改。

• 移除 padding 后 _max_memory_usage_bytes_from_groups 的兼容性 (correctness): 项目维护者 ivanium 和 LucasWilkinson 认为新布局已消除跨组对齐要求，_max_memory_usage_bytes_from_groups 无需修改，因为 block_stride 已统一取最大值，内存计算仍然保守正确。

风险与影响

• 风险：
  1. 重叠布局假设：新布局依赖 block ID 在每个 cache group 之间互斥（同一 block 只能被一个 group 使用）。若未来引入跨组共享 block 的机制（如 KV connector），此假设可能被违反。当前所有模型均满足此假设，因为 block 分配由 scheduler 独立管理。
  2. _max_memory_usage_bytes_from_groups：该函数仍根据单一 full-MLA group 的 page size 计算全局最大内存，但新布局下各 group 可能使用不同的 page size。不过，由于 block_stride 已统一取所有 group 的最大值，该函数实际上已自动兼容。
  3. 单元测试覆盖：新增测试充分验证了重叠布局的正确性，但缺少对 _max_memory_usage_bytes_from_groups 的回归测试。
     - 影响：仅影响配置了 packed KV cache 的模型（默认仅 DeepSeek V4）。对于 DeepSeek-V4-Pro on GB200，FlashInfer 布局下 block 数量增加约 6.5%，FlashMLA 布局下增加约 12.05%。物理 block stride 分别减少 6.10% 和 10.75%。无功能行为变更，现有用户仅需升级代码即可自动受益。其他 hybrid 模型通过 enable_cross_layers_blocks 可选该路径，需用户主动开启。
     - 风险标记：核心路径变更, 跨组 padding 移除, 依赖 block ID 互斥假设

关联脉络

• PR #48425 [BugFix] Handle per-group prefix-hit divergence for hybrid models with KV connector: 修改了同一核心模块（kv_cache_manager 和 scheduler），且涉及 KV connector 下 cache group 的 page 对齐问题，与本 PR 的 padding 移除策略相关。
• PR #48957 [DSv4 Perf] Skip empty c128 kernel launch, around 2x kernel performance improvement.: 同属 DeepSeek V4 性能优化系列，本 PR 进一步从 KV cache 存储层面提升内存效率，两者共同改善 DSV4 模型推理效率。