Prhub

#39029 nano_nemotron_vl: fix tensor device mismatch exception when video profiling

原始 PR 作者 netanel-haber 合并时间 2026-04-06 06:23 文件变更 1 提交数 3 评论 0 代码增减 +3 / -2

执行摘要

修复 nano_nemotron_vl 模型视频分析时张量设备不匹配异常。

根据PR标题和提交信息,该变更旨在修复nano_nemotron_vl模型在视频分析(video profiling)时出现的张量设备不匹配异常。具体问题是在_create_final_video_embeddings方法中,新创建的repl_token_ids和embed_token_ids张量未指定设备,可能与video_embeddings.device不同,导致设备不匹配错误。

该PR变更简单直接,无需精读。对于维护nano_nemotron_vl模型或处理设备同步问题的工程师,可以关注_create_final_video_embeddings方法中设备显式传递的模式,作为避免类似设备不匹配问题的参考。

讨论亮点

Review中没有实质性讨论。gemini-code-assist[bot]的评论仅总结了变更内容,指出没有反馈。robertgshaw2-redhat和milesial直接批准,未提出任何问题或建议。这表明变更简单直接,没有争议。

实现拆解

实现方案非常简单,仅修改了vllm/model_executor/models/nano_nemotron_vl.py文件中的_create_final_video_embeddings方法。关键改动点:

  1. 添加device = video_embeddings.device获取视频嵌入的设备;
  2. 在创建repl_token_ids和embed_token_ids张量时,显式传入device=device参数,确保它们与video_embeddings在同一设备上。
文件 模块 状态 重要度
vllm/model_executor/models/nano_nemotron_vl.py model_executor/models modified 5.0

关键符号

_create_final_video_embeddings

分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。

评论区精华

无实质性讨论 other

Review 中没有评论或讨论,仅 gemini-code-assist[bot] 总结了变更。

结论:变更被直接批准,无争议。 · 已解决

风险与影响

风险极低:

  1. 变更范围极小(仅5行改动),逻辑简单;
  2. 修复了明确的设备不匹配问题,降低了运行时异常风险;
  3. 无性能影响,仅添加了设备参数传递;
  4. 兼容性无影响,保持原有张量创建逻辑不变;
  5. 缺少测试覆盖,但原始问题可能只在特定视频分析场景下触发。

影响范围有限:

  1. 用户影响:修复了nano_nemotron_vl模型视频分析时的潜在崩溃,提升稳定性;
  2. 系统影响:仅影响该特定模型的视频嵌入生成逻辑,不影响其他模型或核心推理路径;
  3. 团队影响:变更简单,易于理解和维护,不会增加技术债务。
缺少测试覆盖

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论