执行摘要
本 PR 通过引入分块感知 ViT 编码和 per-image 缓存，显著优化多模态推理性能，降低 GPU 内存使用和计算开销。关键变更集中在 mm_utils.py，移除冗余设备转移，提升缓存重用率，是涉及核心架构调整的重大改进。
功能与动机
动机源自提高多图像请求下的效率和资源利用率。PR body 明确指出：切换缓存粒度到 per-image 以避免 LRU 驱逐时的完全重新计算；分块感知编码仅处理相关图像，减少峰值 GPU 内存；延迟设备转移消除不必要的 CPU→GPU 数据传输；并移除模型级冗余代码约 240 行，简化维护。
实现拆解
- 核心逻辑 (
mm_utils.py): 新增 _move_items_to_device 和 _get_chunked_embedding_by_item 函数，实现设备转移延迟和分块感知编码；移除旧函数如 get_embedding_items_per_chunk_with_extra_padding。
- 调度优化 (
schedule_batch.py): 删除 prepare_for_extend 中的设备转移循环，依赖统一处理。
- 缓存增强 (
multimodal_cache.py): 添加 get_single 方法，支持 per-image 缓存查找。
- 模型简化: 在
qwen3_vl.py、deepseek_vl2.py 等文件中移除手动 .to(device) 调用，例如 qwen3_vl.py 删除约 104 行内部批处理逻辑。
评论区精华
review 中 gemini-code-assist[bot] 指出两个关键问题：
"_move_items_to_device 只处理 torch.Tensor 特征，但 MultimodalDataItem.feature 可能为 numpy.ndarray...需转换以避免下游操作失败。"
"检查 item.offsets 长度前应确保其不为 None，防止 TypeError 异常。"
这些疑虑未在提交历史中显示解决，可能引入运行时风险。
风险与影响
- 风险:
_move_items_to_device 未处理 numpy 数组可能导致张量操作失败；offsets 检查异常可能中断编码流程；缓存变更可能影响一致性。
- 影响: 基准测试显示，在 1080p 分辨率下最大图像限制从 32 提升至 64（+100%），ViT 编码时间在多图像场景下减少高达 45 毫秒，显著改善用户端 TTFT 和系统吞吐量。
关联脉络
与近期 PR 如 #20707（扩散模型管道）和 #18762（扩散模型优化）共同反映仓库对多模态性能的持续投资。本 PR 的缓存和编码优化是这一趋势的具体体现，预计将推动后续类似改进。
参与讨论