#56398 [Nano-Nemotron] Fix Nano-Nemotron precomputed multimodal embeddings
原始 PR · 作者 taneem-ibrahim · 合并时间 2026-09-12 21:07
修复 Nano-Nemotron 预计算多模态嵌入的消费路径
建议精读,但只需重点看 vllm/model_executor/models/nano_nemotron_vl.py 中 _parse_and_validate_multimodal_inputs 与 embed_multimodal 两段(约 10 行核心改动)。关注三个设计点:一是从 walrus 真值判断改为 `is not None` 的张量安全写法,这是 Python + PyTorch 代码库中高频踩坑点;二是「解析层模态识别」与「消费层类型分流」必须成对修改,只改其一就会出现解析到了却没人用、或用错处理器的错配;三是预计算嵌入直接透传与像素路径的边界划分。review 时值得追问的是 video_embeds 在真实 MRV2 流程下与占位 token 的对齐验证,以及是否值得加一条仓库级 lint 拦截张量真值判断。
参与讨论