#49397 [Bugfix] Skip Qwen3 deepstack buffers without vision
原始 PR · 作者 waynehacking8 · 合并时间 2026-08-05 12:46
跳过无视觉塔时 Qwen3 deepstack 缓冲区创建,修复启动崩溃
值得精读。重点关注: 1. vLLM 的 tower-skipping(`StageMissingLayer`)机制与“在 `meta` 设备上构建模块”的交互,这是理解多模态模型初始化的关键。 2. “编译图输入契约稳定”的设计取舍(延续 #43617):zero-backed 缓冲区在 vision 启用时保留,仅在 tower 被替换时跳过,避免破坏 CUDA graph 特化。 3. 三文件一致修改模式:`qwen3_vl.py` 是基准实现,`qwen3_vl_moe.py` 与 `qwen3_omni_moe_thinker.py` 同步复刻,是模型家族修复的典型结构。 4. 对 maintainer 而言,这是一个结构清晰、证据充分(运行时 A/B 验证)的 bugfix 示例;对开发者而言,其“先构建 tower 再判定能力开关”的初始化顺序值得借鉴。
参与讨论