执行摘要

• 一句话：ViT DP 自动回退，TP 不可用时默认数据并行
• 推荐动作：值得合并。这是一个简洁而实用的改进，提升了多模态模型的易用性。建议后续为其他多模态模型（如 Qwen-VL, LLaVA）也应用类似逻辑，将自动回退机制推广到整个 codebase。

功能与动机

当用户配置的 TP 世界大小与 ViT 注意力头数不兼容时（例如 3 个 head 分布在 4 个 GPU 上），模型可能因无法正确切分注意力头而报错或产生错误结果。通过自动回退到数据并行，避免用户手动配置，提升易用性。

实现拆解

1. 核心函数增强：在 vllm/model_executor/models/vision.py 的 is_vit_use_data_parallel 中新增可选参数 num_heads。当传入 num_heads 且其值不能被 get_tensor_model_parallel_world_size() 整除时，函数返回 True（强制数据并行），并打印一条 warning 提示。
2. Kimi-K2.5 模型适配：在 vllm/model_executor/models/kimi_k25.py 中，将原来直接从 model_config.multimodal_config.mm_encoder_tp_mode == "data" 设置 use_data_parallel 的逻辑替换为调用 is_vit_use_data_parallel(config.vision_config.num_attention_heads)，并新增对应 import。
3. Kimi-K2.5 ViT 层适配：在 vllm/model_executor/models/kimi_k25_vit.py 的 MoonViTEncoderLayer.__init__ 中，将 is_vit_use_data_parallel() 调用改为 is_vit_use_data_parallel(num_heads)，传递当前层的 num_heads 参数。
4. 主逻辑：新逻辑优先检查 TP 兼容性，若不兼容则强制数据并行，否则回退到配置中的 mm_encoder_tp_mode 值。

关键文件：

• vllm/model_executor/models/vision.py（模块 视觉编码器；类别 source；类型 data-contract；符号 is_vit_use_data_parallel）: 核心变更所在。函数 is_vit_use_data_parallel 新增自动回退逻辑，是整个 PR 的关键函数。
• vllm/model_executor/models/kimi_k25.py（模块 视觉编码器；类别 source；类型 data-contract）: 导入并使用新的 is_vit_use_data_parallel 函数，替换硬编码的 TP/DP 判断。
• vllm/model_executor/models/kimi_k25_vit.py（模块 视觉编码器；类别 source；类型 data-contract）: 在 MoonViTEncoderLayer 中传递 num_heads 参数给 is_vit_use_data_parallel，确保整除检查生效。

关键符号：is_vit_use_data_parallel

关键源码片段

vllm/model_executor/models/vision.py

核心变更所在。函数 is_vit_use_data_parallel 新增自动回退逻辑，是整个 PR 的关键函数。

def is_vit_use_data_parallel(num_heads: int | None = None) -> bool:
    """
    Get the tensor parallel type for Vision Transformer.
    当 num_heads 传入且不能被 TP 世界大小整除时，强制回退到数据并行。
    """
    mm_cfg = get_multimodal_config()
    # 检查 head 数是否可被 TP 大小整除
    can_split = (
        num_heads % get_tensor_model_parallel_world_size() == 0
        if num_heads is not None
        else None
    )
    if num_heads is not None and not can_split:
        # 不可整除时，自动回退并发出警告
        logger.warning_once(
            "The number of vision attention heads is not divisible by "
            "the tensor parallel size. Falling back to data parallelism "
            "for the vision encoder."
        )
        return True
    # 可整除或未指定 head 数时，遵循配置
    return mm_cfg is not None and mm_cfg.mm_encoder_tp_mode == "data"

vllm/model_executor/models/kimi_k25.py

导入并使用新的 is_vit_use_data_parallel 函数，替换硬编码的 TP/DP 判断。

# kimi_k25.py 中修改点
# 原有硬编码逻辑：
# self.use_data_parallel = (
# model_config.multimodal_config.mm_encoder_tp_mode == "data"
# )
# 替换为：
self.use_data_parallel = is_vit_use_data_parallel(
    config.vision_config.num_attention_heads
)

评论区精华

无 Review 评论。Claude Bot 自动评论因 PR 来自 fork 跳过审核。ywang96 直接批准。

• 暂无高价值评论线程

风险与影响

• 风险：回归风险：低。仅在 TP 不可整除时触发新路径，原有配置完全不受影响。性能风险：低。自动回退到数据并行可能产生额外通信开销，但这是用户配置不当下的安全措施，且会打印 warning 提醒用户。兼容性风险：低。接口向后兼容，is_vit_use_data_parallel 旧的无参调用仍可工作（返回 can_split=None 并跳过整除检查）。
• 影响：用户影响：正面。当 ViT 注意力头数与 GPU 数不匹配时，用户无需手动设置 mm_encoder_tp_mode=data，系统自动处理并给出警告。系统影响：仅影响 Kimi-K2.5 模型的多模态视觉编码器部分，其他模型不受影响。团队影响：低。变更集中，代码行数少。
• 风险标记：暂无

关联脉络

• PR #46832 [ROCm][DSv3.2][Perf] Cap sparse MLA decode KV-splits with a work-per-split heuristic: 涉及 ViT/编码器并行，虽焦点不同但相关。
• PR #43979 [ROCm][Bugfix] Fix GPT-OSS Quark MXFP4 MoE loading - emulation buffer not block-aligned: 涉及多模态模型 MoE 部分。