#41736 [MM][CG] Support ViT CG for Qwen2-VL
原始 PR · 作者 johncalesp · 合并时间 2026-05-14 01:52
为 Qwen2-VL ViT 添加 CUDA Graph 支持,TTFT 降低约 51%
此 PR 是实现多模态 CUDA Graph 支持的优秀范例,展示了如何为视觉模型适配 `SupportsEncoderCudaGraph` 协议。对于需要为其他模型启用类似优化的开发者,本 PR 的设计模式值得参考。建议精读 `qwen2_vl.py` 中 `prepare_encoder_metadata` 和 `forward` 的修改。
参与讨论