执行摘要

• 一句话：修复因 eager import 导致的 CUDA 驱动提前初始化
• 推荐动作：此 PR 是修复 CI 的关键修复，建议合并。其设计决策（避免在 init.py 中导出可能引入副作用的大模块）值得其他模块借鉴。

功能与动机

commit adaa5e455a 让 test_full_graph[facebook/opt-125m-model_kwargs0-2] 等测试失败，报错 RuntimeError: CUDA driver initialization failed。原因是之前为 DeepSeek V4 添加的 nvidia/ops/init.py 导入了 cutedsl 模块，而 cutedsl 模块在顶层 import cutlass/cuda.bindings.driver，导致 CUDA 驱动在 fork 子进程之前就被初始化。

实现拆解

1. 移除 __init__.py 的导出import（vllm/models/deepseek_v4/nvidia/ops/__init__.py）：删除所有的 from-import 语句和 all，只保留模块文档字符串，避免任何人导入该包时触发 cutedsl 模块的顶层 import。
2. 将调用点改为直接 import 叶子模块：在 vllm/models/deepseek_v4/compressor.py、vllm/models/deepseek_v4/nvidia/model.py、vllm/models/deepseek_v4/common/ops/fused_indexer_q.py 和 vllm/models/deepseek_v4/common/ops/cache_utils.py 中，将原来从 .nvidia.ops 的导入改为直接从具体的子模块导入（如 .nvidia.ops.sparse_attn_compress_cutedsl），确保只在需要时才加载 cutedsl 内核代码。

关键文件：

• vllm/models/deepseek_v4/nvidia/ops/__init__.py（模块 DeepSeek V4；类别 infra；类型 infrastructure）: 核心修改：清空 export import，避免任何人导入本包时触发 cutedsl 模块的顶层 import，从而防止 CUDA 驱动提前初始化。
• vllm/models/deepseek_v4/compressor.py（模块 DeepSeek V4；类别 source；类型 data-contract）: 修改了 cutedsl 内核的导入路径，从包级导入改为叶子模块导入，确保只在需要时加载。
• vllm/models/deepseek_v4/nvidia/model.py（模块 DeepSeek V4；类别 source；类型 data-contract）: 修改了 prepare_megamoe_inputs 的导入路径，从包级导入改为叶子模块导入。
• vllm/models/deepseek_v4/common/ops/fused_indexer_q.py（模块 DeepSeek V4；类别 infra；类型 infrastructure）: 修改了 cutedsl 内核的导入路径，从包级导入改为叶子模块导入，且原代码已有 lazily import 注释。
• vllm/models/deepseek_v4/common/ops/cache_utils.py（模块 DeepSeek V4；类别 infra；类型 infrastructure）: 修改了 dequantize_and_gather_k_cache_cutedsl 的导入路径，从包级导入改为叶子模块导入，且原代码已有 lazily import 注释。

关键符号：未识别

关键源码片段

vllm/models/deepseek_v4/nvidia/ops/__init__.py

核心修改：清空 export import，避免任何人导入本包时触发 cutedsl 模块的顶层 import，从而防止 CUDA 驱动提前初始化。

# vllm/models/deepseek_v4/nvidia/ops/__init__.py
"""
These modules import ``cutlass``/``cutedsl`` at module top level, so they must
not be imported on non-CUDA platforms. Callers should gate on
``vllm.utils.import_utils.has_cutedsl()`` before importing from here.
​
This ``__init__`` deliberately imports nothing: re-exporting the cutedsl
modules here would eagerly ``import cutlass`` (initializing the CUDA driver)
for anyone who imports ``vllm.models.deepseek_v4``, breaking forked subprocesses.
Import the leaf modules directly under a ``has_cutedsl()``/``is_cuda()`` gate.
"""
# 不在此导出任何符号，避免顶层 import 触发 CUDA 驱动初始化

vllm/models/deepseek_v4/compressor.py

修改了 cutedsl 内核的导入路径，从包级导入改为叶子模块导入，确保只在需要时加载。

# 在 vllm/models/deepseek_v4/compressor.py 的 forward 方法中
if current_platform.is_cuda():
    # NVIDIA GPUs.
    if self.head_dim == 512:
        # 改为直接从具体子模块导入，避免触发 __init__.py 中的顶层 import
        from .nvidia.ops.sparse_attn_compress_cutedsl import (
            compress_norm_rope_store_cutedsl,
        )
        compress_norm_rope_store_fn = compress_norm_rope_store_cutedsl
    else:
        compress_norm_rope_store_fn = compress_norm_rope_store_triton

评论区精华

mgoin 提问：'Why are these inits even getting importing if we aren't using deepseekv4?' hmellor 解释：test_full_graph 会遍历所有模型，对每个模型调用 is_quant_method_supported，该检查会导致 DSv4 模块被导入，从而触发 CUDA 初始化。WoosukKwon 表示：'I think we should also remove the weird model initialization though'，暗示后续还需要清理这种奇怪的模型初始化逻辑。

• 为何引入 DSv4 会导致 test_full_graph 失败 (question): 确认是因为之前 init.py 的 eager import 导致 CUDA 驱动在 fork 前被初始化。
• 是否需要进一步清理模型初始化逻辑 (design): 未解决，但作为后续改进点。

风险与影响

• 风险：本 PR 修改了多个文件的导入路径，可能导致部分依赖旧导入路径的代码（如未更新导入的插件或外部工具）失效。但所有修改都在同一仓库内，且已有 review 确认，风险较低。
• 影响：影响范围较小，主要修复了 CI 测试失败问题，确保了 v0.22.0 版本的稳定。对用户无直接影响，对开发者来说，后续使用 DeepSeek V4 相关模块时，需要确保调用点正确导入叶子模块。
• 风险标记：导入路径变更, 缺少测试覆盖

关联脉络

• PR #43787 另一修复(被替代): 本 PR 声明 supersedes PR #43787
• PR #43829 [DSV4] Remove AMD/XPU path in deepseek_v4/nvidia: 同为 DeepSeek V4 相关修改，涉及同一目录