执行摘要

本PR新增了针对Qwen3-VL多模态模型的内存泄漏检测测试，通过重复发送固定请求并监控GPU和CPU内存增长，旨在早期发现潜在泄漏，作为issue #16353多模态性能基准测试计划的一部分，增强CI测试覆盖和模型稳定性验证。

功能与动机

此变更源于issue #16353（“为多模态模型在CI中运行性能基准测试”），旨在避免多模态优化（如处理器缓存）导致的回归，如内存泄漏。PR body明确指出，专注于Qwen3-VL-4B-Instruct模型，添加引擎级泄漏检查，而非完整服务路径基准测试。具体地，通过建立内存基线和检查后续轮次增长，提供针对性泄漏检测能力。

实现拆解

核心文件变更

• tests/models/multimodal/generation/test_memory_leak.py：新增测试文件，包含以下关键逻辑：
  • 使用LLM初始化模型，设置多模态参数（如limit_mm_per_prompt）。
  • 定义_make_messages和_build_request_batch函数构建包含随机文本和图像的请求，避免前缀缓存干扰。
  • 通过_gpu_used_bytes获取GPU使用内存，_ru_maxrss_bytes获取CPU峰值RSS。
  • 执行多轮请求（预热轮和测量轮），检查内存增长是否超过阈值（初始设为0 MiB，但review建议调整）。
  • 使用pytest.mark.core_model标记，并支持参数化图像输入。
• vllm/utils/mem_constants.py：添加KB_bytes和KiB_bytes常量定义，为内存单位提供标准基准。
• vllm/utils/mem_utils.py：新增format_kib函数，用于格式化内存值为KiB单位，增强测试输出可读性。

关键函数

• _make_messages：构建包含随机文本和图像URL的聊天消息，避免缓存效应。
• _build_request_batch：生成固定数量的请求批次，用于每轮测试。
• _ru_maxrss_bytes：跨平台获取进程峰值RSS（Linux为KB，macOS为字节）。
• _gpu_used_bytes：同步设备并计算GPU已使用内存。
• format_kib：新增工具函数，格式化字节值为KiB字符串。

评论区精华

review中，gemini-code-assist[bot] 提出两个高优先级讨论：

“内存增长阈值（256 MiB for GPU和128 MiB for CPU）过高，对于固定输入的4B模型，内存占用应极稳定，高阈值可能掩盖显著泄漏（如每请求10 MiB），建议降低到更敏感值如32 MiB或64 MiB。”

“使用resource.getrusage的峰值RSS可能隐藏初始化后的泄漏，因为峰值通常在模型加载时达到，建议跟踪当前RSS（例如使用psutil）以有效检测测量阶段的泄漏。”

讨论未显示作者明确回应，但PR最终被DarkLight1337批准，暗示可能已采纳建议或在后续提交中调整阈值和测量方法。

风险与影响

技术风险

• 阈值设置不当：初始阈值过高可能导致小泄漏漏检，而调整过低可能引入误报，影响测试可靠性。
• 测量方法局限：依赖峰值RSS可能无法捕捉模型加载后的泄漏，需结合当前RSS跟踪以提高准确性。
• 模型依赖性强：测试仅针对Qwen3-VL-4B-Instruct，缺乏通用性，可能不覆盖其他多模态模型变体。
• 环境干扰：GPU内存波动或系统负载可能影响测量结果，导致测试不稳定。

影响范围

• 用户：无直接影响，此为测试代码变更。
• 系统：增强CI测试套件，为多模态模型提供自动化内存泄漏检测，有助于早期发现回归问题。
• 团队：提升开发效率，减少手动内存检查负担，并推动多模态性能基准测试的持续集成进程。

关联脉络

本PR直接关联issue #16353，是“多模态模型性能基准测试”功能请求的具体实现之一。从同仓库近期历史PR看，多模态相关变更（如#38388修复嵌套张量比较、#39307更新ColModernVBERT模型）可能受益于此测试覆盖，形成多模态稳定性验证的演进链条。此外，review讨论中提及的阈值和测量方法改进，可能为后续类似测试（如其他模型或更全面的基准测试）提供设计参考。