执行摘要

• 一句话：XPU 平台移除强制 NHD 布局限制
• 推荐动作：建议合并。变更简洁、目的明确，且有配套 kernel 支持和充分的测试验证。值得关注的是，此 PR 是 XPU 平台 PD 分离能力的基础设施支撑，后续可能有更多相关 PR（如异构 TP 支持）。

功能与动机

XPU 平台此前仅支持 NHD 布局，无法使用 HND 布局。HND 布局是 PD 分离和异构 TP 的必要条件。此 PR 配合 XPU kernel 侧的支持（PR#44455 和 xpu-kernels PR#432），解除布局限制，使 XPU 能参与异构 TP 部署。

实现拆解

在 vllm/platforms/xpu.py 的 XPUPlatform.get_attn_backend_cls 方法中，删除了以下 8 行代码：

1. 删除 from vllm.v1.attention.backends.utils import set_kv_cache_layout 导入语句。
2. 删除 set_kv_cache_layout("NHD") 调用及对应的日志记录。

这些代码原本强制将 KV 缓存布局设为 NHD，并打印日志说明 XPU 仅支持 NHD 布局。移除后，XPU 平台将不再覆盖用户通过环境变量 VLLM_KV_CACHE_LAYOUT 设置的布局（包括 HND）。该方法中其他逻辑（如 TurboQuant、MLA、Triton 等后端选择）保持不变。

关键文件：

• vllm/platforms/xpu.py（模块 平台层；类别 source；类型 dependency-wiring；符号 get_attn_backend_cls）: 移除强制设置 KV 缓存布局为 NHD 的代码，使 XPU 支持 HND 布局。

关键符号：get_attn_backend_cls

关键源码片段

vllm/platforms/xpu.py

移除强制设置 KV 缓存布局为 NHD 的代码，使 XPU 支持 HND 布局。

# vllm/platforms/xpu.py (get_attn_backend_cls 方法 )
@classmethod
def get_attn_backend_cls(
    cls,
    selected_backend: "AttentionBackendEnum",
    attn_selector_config: "AttentionSelectorConfig",
    num_heads: int | None = None,
) -> str:
    # 已移除：强制设置 KV 缓存布局为 NHD 的代码
    # 之前这里调用了 set_kv_cache_layout("NHD") 并打印日志，
    # 现在 XPU kernel 已支持 HND 布局，因此不再干预布局选择。
​
    # TurboQuant KV cache: route directly to TQ backend
    kv_cache_dtype = attn_selector_config.kv_cache_dtype
    if kv_cache_dtype is not None and kv_cache_dtype.startswith("turboquant_"):
        logger.info_once("Using TurboQuant attention backend.")
        return AttentionBackendEnum.TURBOQUANT.get_path()
​
    dtype = attn_selector_config.dtype
    if attn_selector_config.use_sparse:
        logger.info_once("Using XPU MLA Sparse backend.")
        return AttentionBackendEnum.XPU_MLA_SPARSE.get_path()
    if attn_selector_config.use_mla:
        logger.info_once("Using Triton MLA backend on V1 engine.")
        return AttentionBackendEnum.TRITON_MLA.get_path()
    if selected_backend == AttentionBackendEnum.TRITON_ATTN:
        logger.info_once("Using Triton backend.")
        return AttentionBackendEnum.TRITON_ATTN.get_path()
    elif attn_selector_config.use_mm_prefix:
        logger.warning_once(
            "Flash Attention on XPU does not support multimodal prefix-LM "
            "attention. Falling back to Triton Attention backend."
        )
        return AttentionBackendEnum.TRITON_ATTN.get_path()
    elif dtype == torch.float32:
        logger.warning_once(
            "Flash Attention on XPU does not support float32 dtype. "
            "Falling back to Triton Attention backend."
        )
        return AttentionBackendEnum.TRITON_ATTN.get_path()

评论区精华

无实质性 review 讨论。仅有一个自动化 bot 评论说明 fork 仓库禁用了自动 review，以及维护者 jikunshang 的批准。

• 暂无高价值评论线程

风险与影响

• 风险：风险较低。
  1. 回归风险：如果用户显式设置 VLLM_KV_CACHE_LAYOUT=HND 而 kernel 不支持，可能导致运行时错误。但此 PR 依赖的 kernel 侧支持已到位（PR#44455 和 xpu-kernels PR#432），且作者提供了完整的精度和性能测试结果。
  2. 兼容性：默认布局仍为 NHD（来自上层逻辑默认），行为不变。仅当用户明确设置 HND 时才会切换到新布局。
  3. 无测试配套：本次变更未包含直接相关的单元测试，但作者提供了集成精度测试脚本（在 PR body 中列出）。
• 影响：
  1. 对用户：XPU 用户现在可以通过设置 VLLM_KV_CACHE_LAYOUT=HND 使用 HND 布局，从而参与 PD 分离和异构 TP 部署。对普通用户无影响（默认不变）。
  2. 对系统：移除强制覆盖，尊重环境变量配置，与其他平台（如 NVIDIA）行为一致。
  3. 对团队：该变更使 XPU 平台的 KV 缓存布局选择从硬编码变为可配置，降低了维护成本。
     - 风险标记：缺少测试覆盖, 依赖外部 kernel PR

关联脉络

• PR #44455 [XPU] support HND layout (kernel side): 此 PR 的 kernel 侧依赖，为 XPU 提供 HND 布局的底层算子支持。