执行摘要

• 一句话：优化 VLM 预处理输入的 CUDA IPC 暂存
• 推荐动作：值得精读。该 PR 展示了一个典型的性能优化思路：识别重复的设备调用并延迟执行，同时将分散逻辑集中化。建议关注 has_cuda_ipc_proxy 的引入以及 reconstruct 设备参数的传递方式，这种模式可复用于其他 IPC 场景。

功能与动机

PR 指出需要避免为预处理 VLM 张量进行额外的 CUDA IPC 暂存，并重用预先计算的 pad/hash。之前，在 from_processor_output 中每个 mm_item 都触发 reconstruct()，内部多次调用 torch.cuda.current_device()，且当没有 IPC 代理时仍需 reconstruct。优化后只在存在 IPC 代理时延迟获取设备并进行重构，减少不必要的设备调用，并为后续重用 pad/hash 做准备。

实现拆解

1. 抽取 _wrap_tensor_for_cuda_ipc 辅助方法（base_processor.py）：将原来散落在各个位置的 CUDA IPC 包装逻辑集中到一个方法中，用于将 CUDA tensor 转换为 CudaIpcTensorTransportProxy，并在 pool 分配失败时 fallback 到 CPU 或保持设备。
2. 改进 from_processor_output 重构逻辑（schedule_batch.py）：将 reconstruct() 方法改为接受目标设备参数，并新增 has_cuda_ipc_proxy() 方法快速判断是否需要重构。在 from_processor_output 中，先过滤有效项，再对含有 IPC 代理的项仅调用一次 current_device 后统一重构。
3. 提前设置 pad_value（base_processor.py）：在 process_and_combine_mm_data 中，对 PROCESSOR_OUTPUT 和 PRECOMPUTED_EMBEDDING 格式的项调用 set_pad_value()，确保 pad/hash 在预处理阶段就准备好，减少后续重复计算。
4. 新增单元测试（test_mm_utils.py）：增加了 test_materialize_precomputed_embedding_proxy_without_feature 和 test_materialize_model_specific_proxy_without_feature 两个测试，验证在没有 feature 字段时，precomputed_embeddings 和 model_specific_data 中的代理也能正确重构。

关键文件：

• python/sglang/srt/managers/schedule_batch.py（模块 调度器；类别 source；类型 core-logic；符号 reconstruct, has_cuda_ipc_proxy）: 核心调度批处理文件，修改了 MultimodalDataItem 的 reconstruct 方法签名，新增 has_cuda_ipc_proxy 快速判断，并调整 from_processor_output 中的重构流程，避免重复获取当前设备。
• python/sglang/srt/multimodal/processors/base_processor.py（模块 多模态处理器；类别 source；类型 core-logic；符号 _wrap_tensor_for_cuda_ipc）: 多模态处理器基类，抽取了 _wrap_tensor_for_cuda_ipc 方法，并调整了 process_and_combine_mm_data 中的 IPC 包装逻辑，提前设置 pad_value。
• test/manual/vlm/test_mm_utils.py（模块 多模态测试；类别 test；类型 test-coverage；符号 test_materialize_precomputed_embedding_proxy_without_feature, test_materialize_model_specific_proxy_without_feature）: 新增两个测试用例，验证 precomputed_embeddings 和 model_specific_data 代理重构。

关键符号：reconstruct, has_cuda_ipc_proxy, _wrap_tensor_for_cuda_ipc, test_materialize_precomputed_embedding_proxy_without_feature, test_materialize_model_specific_proxy_without_feature

评论区精华

在 review 中，gemini-code-assist[bot] 指出 _wrap_tensor_for_cuda_ipc 方法中使用 .view() 前应确保张量连续，建议加上 .contiguous()。评论认为虽然 VLM 特征通常是连续的，但更安全的做法是先调用 .contiguous() 避免运行时错误。该建议未被合并者确认或采纳，但值得注意。

• 张量连续性检查 (correctness): 未确认采纳，但该建议已被记录。

风险与影响

• 风险：
  1. 张量连续性风险：如果落入 _wrap_tensor_for_cuda_ipc 的张量非连续，.view() 会抛出 RuntimeError。虽然当前场景下 VLM 特征多是连续的，但依赖隐式假设存在隐患。
  2. IPC 路径回归：重构了 from_processor_output 的 IPC 还原逻辑，将设备获取推迟到发现代理之后，若 has_cuda_ipc_proxy 实现有遗漏或 model_specific_data 中含有非标准类型的代理，可能导致重构不完全。
  3. pad_value 设置时机：提前在 process_and_combine_mm_data 中设置 pad_value，若后续逻辑依赖该值的存在，但之前的代码没有此步骤，可能引入行为差异。
  4. 测试覆盖：新增测试覆盖了 IPC 代理重构的两个边界情况，但对 keep_mm_feature_on_device 路径、非连续张量等场景未覆盖。
     - 影响：该 PR 主要影响 VLM 请求的预处理路径，特别是使用 CUDA IPC 进行多模态数据传输的场景。性能提升微小（OCRBench TTFT -1.6%, E2E -0.4%），但代码结构更清晰，为后续重用 pad/hash 打下基础。影响用户方面，无 API 变更，行为保持兼容。影响团队方面，简化了后续 VLM 优化工作的基础。
     - 风险标记：张量连续性假设, IPC 重构路径变更

关联脉络

• PR #26117 [VLM] Preserve preprocessed input ids: 关联预处理输入 ids 保留优化，属于同一功能线。
• PR #26101 [VLM] accept precomputed multimodal metadata: 关联预计算元数据支持，本 PR 的重用 pad/hash 是后续优化步骤。