执行摘要

• 一句话：移除 DeepseekCompressor 无用的 KV 缓冲区管理
• 推荐动作：一个简单的清理 PR，值得合并。无需要精读。

功能与动机

PR 说明指出该缓冲区仅用于中间输出，不需要特殊处理，因此删除以简化代码。

实现拆解

1. 删除 DeepseekCompressor 类中的类变量 _compressed_kv_buffers。
2. 删除类方法 _get_compressed_kv_buffer。
3. 在 __init__ 中移除对 _get_compressed_kv_buffer 的调用，并删除 self._compressed_kv_buffer 的赋值。
4. 在 forward 方法中，将原本使用 self._compressed_kv_buffer[:num_actual] 的地方改为直接创建 torch.empty((num_actual, self.head_dim), dtype=torch.float32, device=state_cache.device)。

关键文件：

• vllm/models/deepseek_v4/compressor.py（模块 模型定义；类别 source；类型 core-logic；符号 _get_compressed_kv_buffer）: 核心变更文件，删除了类变量和 _get_compressed_kv_buffer 方法，简化了 __init__ 和 forward 中的张量创建逻辑。

关键符号：_get_compressed_kv_buffer

关键源码片段

vllm/models/deepseek_v4/compressor.py

核心变更文件，删除了类变量和 _get_compressed_kv_buffer 方法，简化了 __init__ 和 forward 中的张量创建逻辑。

# vllm/models/deepseek_v4/compressor.py
​
class DeepseekCompressor(nn.Module):
    # 移除类变量 _compressed_kv_buffers 和类方法 _get_compressed_kv_buffer
​
    def forward(
        self,
        kv_score: torch.Tensor,
        ...
    ) -> torch.Tensor:
        ...
        if self._use_cutedsl_fused_sparse_compressor:
            # 融合路径，使用现有内部缓冲区
            ...
        else:
            # 非融合路径：原来使用 self._compressed_kv_buffer[:num_actual]
            # 现在直接创建局部张量，不再依赖类缓存
            compressed_kv = torch.empty(
                (num_actual, self.head_dim),
                dtype=torch.float32,
                device=state_cache.device,
            )
            self._compress_kernel(
                state_cache,
                token_to_req_indices,
                ...
            )
        ...

评论区精华

审查者 zyongye 批准了 PR，未提出修改建议或讨论。

• 暂无高价值评论线程

风险与影响

• 风险：风险较低。该缓冲区原用于缓存预分配的中间张量，切换为每次按需创建后，性能上可能略有影响（但 tensor 创建成本极低且仅在稀疏压缩路径（head_dim=512）中使用），不会影响正确性。
• 影响：影响局限在 DeepseekCompressor 类内部，仅影响 head_dim=512 的 DeepSeek V4 模型压缩路径，功能行为无变化。
• 风险标记：暂无

关联脉络

• PR #43584 Unknown PR introducing _get_compressed_kv_buffer: 该 PR 引入的 _get_compressed_kv_buffer 在此 PR 中被移除。