执行摘要

• 一句话：MRV2 支持 Llama 与 Mistral 密集模型
• 推荐动作：建议在合并后密切监控 Llama/Mistral 相关测试的稳定性，并优先处理 force_v1_runner 的环境变量覆盖问题。该 PR 值得精读，展示了 MRV2 激活的标准流程测试适配模式。

功能与动机

基于 @yewentao256 的 PR #42665，启用 MRV2 以提升 Llama 和 Mistral 密集模型的推理性能与稳定性。通过 CI 迭代修复了测试失败，确保 MRV2 在这些架构上可靠运行。

实现拆解

1. 扩展默认架构集合：在 vllm/config/vllm.py 中将 DEFAULT_V2_MODEL_RUNNER_ARCHITECTURES 从包含 "Qwen3ForCausalLM" 扩展为包含 "LlamaForCausalLM" 和 "MistralForCausalLM"，使 V2 模型运行器在检测到这些架构时自动启用。
2. 添加 apply_sparse_weight_patches 代理：在 vllm/v1/worker/gpu/model_runner.py 的 GPUModelRunnerV2 中新增同名方法，通过导入 V1 的 GPUModelRunner 将调用转发过去，保持权重修补功能在 V2 下可用。
3. 适配测试以兼容 MRV2 预热行为：修改 tests/v1/engine/test_abort_final_step.py 中的 execute_model_with_wait，通过检查调度输出中的请求 ID 区分 MRV2 引擎初始化调用（三次预热）与真实测试请求，避免测试因阻塞在预热调用上而超时。同时调整 tests/v1/shutdown/test_forward_error.py，为前向调用添加 intermediate_tensors=None 参数，满足 MRV2 的接口要求。
4. 补充配置测试：在 tests/test_config.py 中添加针对 Llama 和 Mistral 模型的参数化测试用例，验证这些架构在未设置环境变量时默认会启用 V2 运行器。

关键文件：

• vllm/config/vllm.py（模块 配置；类别 source；类型 core-logic；符号 DEFAULT_V2_MODEL_RUNNER_ARCHITECTURES）: 核心配置变更，决定哪些架构默认启用 MRV2
• vllm/v1/worker/gpu/model_runner.py（模块 GPU 模型运行器；类别 source；类型 data-contract；符号 apply_sparse_weight_patches）: 新增 apply_sparse_weight_patches 代理方法，适配 MRV2 与 V1 的权重修补接口
• tests/v1/engine/test_abort_final_step.py（模块 测试；类别 test；类型 test-coverage；符号 is_target_request, execute_model_with_wait）: 修改核心测试逻辑以兼容 MRV2 预热调用，避免测试挂起
• tests/test_config.py（模块 测试；类别 test；类型 test-coverage）: 添加 Llama 和 Mistral 的 MRV2 启用测试用例，验证配置正确性
• tests/v1/shutdown/test_forward_error.py（模块 测试；类别 test；类型 test-coverage）: 修复 MRV2 下前向调用的参数缺失问题，一行变更

关键符号：apply_sparse_weight_patches, is_target_request

关键源码片段

vllm/config/vllm.py

核心配置变更，决定哪些架构默认启用 MRV2

# vllm/config/vllm.py
​
# ... 导入省略 ...
​
logger = init_logger(__name__)
​
# 默认启用 V2 模型运行器的架构集合
DEFAULT_V2_MODEL_RUNNER_ARCHITECTURES = frozenset(
    {
        "LlamaForCausalLM", # 新增：Llama 密集模型
        "MistralForCausalLM", # 新增：Mistral 密集模型
        "Qwen3ForCausalLM", # 原有：Qwen3 密集模型
    }
)
​
class OptimizationLevel(IntEnum):
    # ...

vllm/v1/worker/gpu/model_runner.py

新增 apply_sparse_weight_patches 代理方法，适配 MRV2 与 V1 的权重修补接口

# vllm/v1/worker/gpu/model_runner.py
​
class GPUModelRunnerV2(GPUModelRunner):
​
    # ... reload_weights, update_config 等其他方法 ...
​
    def apply_sparse_weight_patches(self, *args, **kwargs) -> None:
        # TODO(Wentao): 完全迁移到 v2 后使用完整导入
        from vllm.v1.worker.gpu_model_runner import GPUModelRunner as GPUModelRunnerV1
        # 将调用转发到 V1 的运行器
        GPUModelRunnerV1.apply_sparse_weight_patches(self, *args, **kwargs) # type: ignore[arg-type]

tests/v1/engine/test_abort_final_step.py

修改核心测试逻辑以兼容 MRV2 预热调用，避免测试挂起

# tests/v1/engine/test_abort_final_step.py
​
# 在 test_abort_during_final_step 函数内部：
original_execute_model = Worker.execute_model
​
def execute_model_with_wait(self, scheduler_output):
    # V2 的 `gpu_worker.compile_or_warm_up_model` 会在引擎初始化时
    # 调用三次 `Worker.execute_model`（prefill / decode / cleanup）
    # 来 JIT 编译 triton 内核。这些调用不携带测试的请求 ID，
    # 因此我们只在处理真正的请求时才阻塞。
    scheduled = scheduler_output.num_scheduled_tokens or {}
    finished = scheduler_output.finished_req_ids or set()
​
    def is_target_request(req_ids):
        return any(
            rid == request_id or rid.startswith(f"{request_id}-")
            for rid in req_ids
        )
​
    if is_target_request(scheduled) or is_target_request(finished):
        # 通过删除 ready_file 来通知 execute_model 已被调用
        if ready_file.exists():
            ready_file.unlink()
        # 等待 block_file 被删除（测试在 abort 后触发）
        while block_file.exists():
            time.sleep(0.01)
    return original_execute_model(self, scheduler_output)

评论区精华

唯一的一条 review 来自 gemini-code-assist[bot]，指出 force_v1_runner 工具函数中字典解包顺序可能导致已有环境变量覆盖强制 V1 设置，建议将强制值放在解包之后以确保严格强制。该问题未得到作者回应，在合并时未解决。

• force_v1_runner 环境变量覆盖问题 (correctness): PR 作者未回复，该问题在合并时未解决。

风险与影响

• 风险：

  1. 配置变更影响面广：DEFAULT_V2_MODEL_RUNNER_ARCHITECTURES 的修改会使所有 Llama 和 Mistral 密集模型默认启用 MRV2，若 MRV2 在某些模型上有隐藏问题，会触发大规模回归。
  2. 测试计时依赖：test_abort_final_step.py 的阻塞逻辑基于文件系统轮询，在 CI 高负载下可能超时，存在脆弱性。
  3. 未解决的环境变量覆盖风险：force_v1_runner 的潜在 bug 可能导致部分测试误用 MRV2，影响正确性验证。
  4. 转发方法可能遗漏状态：apply_sparse_weight_patches 仅简单转发，如果 V2 运行器与 V1 的权重修补状态有差异，可能引发静默错误。
     - 影响：用户：使用 Llama 或 Mistral 密集模型的用户将自动受益于 MRV2 的潜在性能提升（如 CUDA 图捕捉、编译优化），但可能遇到未预期的行为变化。
     系统：V2 模型运行器的覆盖范围扩大，后续维护需关注这些模型的 CI 结果。
     团队：需尽快修复 force_v1_runner 的潜在 bug，并完善 MRV2 的测试覆盖。

• 风险标记：核心配置变更, 测试计时依赖, 未解决的环境变量覆盖风险, 转发方法可能遗漏状态

关联脉络

• PR #42665 [MRV2] Enable MRV2 for Llama and Mistral dense models (initial version): 该 PR 的原始基础，yewentao256 的初始实现，本 PR 在此基础上修复 CI 失败并完善