Prhub

#44720 [Doc] Document Qwen3.6 (dense + MoE) ViT CUDA graph support

原始 PR 作者 harsha20032020 合并时间 2026-06-24 22:35 文件变更 1 提交数 1 评论 9 代码增减 +2 / -1

执行摘要

文档更新:Qwen3.6 系列已支持 ViT CUDA Graph

Qwen3.6 系列模型发布后,用户需要明确了解其 ViT 编码器是否支持 CUDA Graph 加速。由于 Qwen3.6 复用 Qwen3.5 架构,其 CUDA Graph 支持已隐式存在,但文档中未列出,导致用户可能对此产生疑问。PR 作者在 PR 描述中说明:"Documents that Qwen3.6 is covered by the ViT-encoder CUDA-graph path."

该 PR 为纯文档更新,内容简洁清晰。建议快速合并以消除用户疑惑。

讨论亮点

Review 中 shen-shanshan 指出测试模型(27B/35B)太大,应使用 dummy 权重。随后 shen-shanshan 和 Isotr0py 一致认为,由于 Qwen3.6 与 Qwen3.5 架构相同,新增 CI 测试无意义,仅浪费 CI 资源。Isotr0py 进一步指出 Qwen3.6 的 model_type 仍为 qwen3_5,无需新增离线示例。最终决定仅保留文档更新,CI 测试和示例均被移除。

实现拆解

  1. 确认架构兼容性:Qwen3.6 的 config.jsonmodel_typeqwen3_5,因此由已有的 Qwen3_5ForConditionalGenerationQwen3_5MoeForConditionalGeneration 类提供服务,这两个类已实现 SupportsEncoderCudaGraph 接口,支持 ViT CUDA Graph。
  2. 更新文档表格:在 docs/design/cuda_graphs_multimodal.md 的多模态 CUDA Graph 支持表中,为 Qwen3_5ForConditionalGeneration 行增加 "Qwen3.6" 别名,并新增一行 Qwen3_5MoeForConditionalGeneration 记录 Qwen3.6-MoE 的支持。
  3. 移除不必要的 CI 测试和示例:根据 review 反馈,最初 PR 提议为 Qwen3.6 添加 CI 测试配置和离线示例,但由于 Qwen3.6 与 Qwen3.5 共享相同的 ViT 编码器,这些新增项只会消耗 CI 资源,因此被移除。最终 PR 仅保留文档更新。
文件 模块 状态 重要度
docs/design/cuda_graphs_multimodal.md 设计文档 modified 2.22

分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。

评论区精华

CI 测试必要性 测试

shen-shanshan 和 Isotr0py 均认为 Qwen3.6 与 Qwen3.5 架构相同,新增 CI 测试会浪费资源。

结论:移除所有 CI 测试配置,仅保留文档更新。 · 已解决

离线示例必要性 documentation

Isotr0py 指出 Qwen3.6 的 model_type 为 qwen3_5,无需新增离线示例。

结论:移除新增的离线示例,按 qwen3_5 示例运行即可。 · 已解决

风险与影响

本 PR 仅为文档变更,不修改任何代码路径,因此技术风险极低。无回归、性能、安全或兼容性风险。

对用户:明确告知 Qwen3.6 用户其模型已支持 ViT CUDA Graph,有助于用户正确配置和使用 CUDA Graph 加速。对系统:无影响。对团队:无维护负担。影响范围小。

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论