执行摘要
本 PR 利用 PyTorch 2.9.0 的新特性，简化了多模态掩码处理逻辑，通过将 is_multimodal tensor 保持在 CPU 上并移除 masked_scatter_ 使用，避免了 CPU/GPU 同步，减少了数据移动，同时更新了多个模型定义以适应变化。这是一个有意义的代码重构和性能优化，影响多模态处理模块。
功能与动机
为什么做：自 PyTorch 2.9.0 起，target[mask] = src 在 mask 是 CPU tensor 时不再导致 cudaStreamSynchronize 操作。因此，本 PR 旨在简化 _merge_multimodal_embeddings 函数，移除之前为避免同步而使用的 masked_scatter_ 方法，从而简化代码并潜在提升性能。PR body 中明确指出："This PR simplifies _merge_multimodal_embeddings by removing the need for masked_scatter_ without re-introducing a CPU/GPU sync."
实现拆解
做了什么：实现按模块拆解如下：
-
核心工具函数：在 vllm/model_executor/models/utils.py 中，_merge_multimodal_embeddings 函数从：
inputs_embeds.masked_scatter_(
is_multimodal.unsqueeze(-1), mm_embeds_flat.to(dtype=input_dtype)
)
改为：
inputs_embeds[is_multimodal] = mm_embeds_flat.to(dtype=input_dtype)
使 is_multimodal tensor 保持在 CPU 上，避免 GPU 传输。
-
模型运行器：在 vllm/v1/worker/gpu_model_runner.py 中，移除了 is_mm_embed_buffers 双缓冲和相关的 GPU 复制代码；在 vllm/v1/worker/gpu/mm/encoder_runner.py 中，移除了 pin_memory 和 to(device) 调用，简化 gather_mm_embeddings 函数。
- 模型定义更新：多个多模态模型文件（如
qwen2_5_omni_thinker.py、nano_nemotron_vl.py）被修改，移除 device 参数或调整 tensor 创建，确保 is_multimodal 在 CPU 上使用。
- 测试验证：在
tests/models/test_utils.py 中添加了 test_merge_multimodal_embeddings_no_sync 测试，使用 torch.cuda.set_sync_debug_mode("error") 验证无 CUDA 同步。
评论区精华
讨论了什么：review 讨论聚焦于正确性和兼容性：
- 确保无回归：DarkLight1337 评论："I'm ok with this change if there is a way to ensure there is no such regression on PyTorch side." 作者 lgeiger 回应并添加测试，确保在 PyTorch 2.9.0 下无同步问题。
- 模型更新：lgeiger 提出需要更新模型定义，DarkLight1337 同意："I am ok with updating the individual models accordingly, unless it occurs for most of the models." 最终多个模型文件被更新。
- 性能益处：cjackal 报告此 PR 解决了 OOM 问题（#38257），并验证了准确性提升，显示实际优势。
风险与影响
风险：
- 依赖外部版本：依赖于 PyTorch 2.9.0，低版本可能导致兼容性问题或性能回退。
- 模型定义变更：多个模型文件修改，如果遗漏更新可能引发运行时错误。
- 潜在同步风险：尽管测试覆盖，边缘情况（如 tensor 类型变化）可能未覆盖。
影响：
- 对用户：潜在性能提升（减少内存使用和延迟），但无直接功能变化。
- 对系统：简化代码，减少 CPU-GPU 数据移动，可能提升吞吐量。
- 对团队：开发者需适配 CPU tensor 处理，依赖 PyTorch 版本升级。
关联脉络
与历史 PR 的关系：
- PR 38617：涉及多模态 bugfix，展示仓库对多模态功能的持续改进。
- PR 38559：性能优化相关，与本 PR 的简化目标一致，反映性能改进趋势。
本 PR 是 vLLM 多模态模块演进的一部分，通过利用 PyTorch 新特性简化核心路径，为后续优化奠定基础。
参与讨论