Prhub

#44388 [Doc] Update ViT CUDA graph interfaces

原始 PR 作者 shen-shanshan 合并时间 2026-06-03 16:21 文件变更 1 提交数 2 评论 3 代码增减 +12 / -16

执行摘要

更新 ViT CUDA 图文档,同步代码变更

PR 的 body 明确指出目的是解决 PR #41234 的评论中的问题,并同步更新文档以匹配 PR #41234 和 #42288 中的实际代码变更。

此 PR 是纯粹的文档同步更新,对大多数工程师无需精读。但若您正在使用或开发 ViT CUDA 图系统,建议查看此文档以了解最新的 API 和流程。

讨论亮点

此 PR 没有 review 评论。唯一审核者 Isotr0py 直接批准,表明变更直接且没有争议。

实现拆解

  1. 新增 EncoderItemSpec 定义:在术语表中新增 EncoderItemSpec 类的描述,该类用于描述单个编码器输入项(图像或视频)及其输入大小和输出 token 数。
  2. 合并缓冲区字段:将 BudgetGraphMetadata 中的 input_buffermetadata_buffers 合并为单一的 input_buffers 字典,以反映代码中统一缓冲区设计的变更。
  3. 更新 replay 步骤:将原先手动清零并拷贝 input_buffermetadata_buffers 的步骤替换为调用 prepare_encoder_cudagraph_replay_buffers() 方法,然后清零并拷贝合并后的 input_buffers 字典。
  4. 更新模型协议方法签名:将 get_encoder_cudagraph_config() 的返回描述从“supported modalities, input key, buffer keys, output hidden size”更新为“supported modalities, buffer keys, output hidden size, padding logics, max frames per video”,并删除 get_encoder_cudagraph_num_itemsget_encoder_cudagraph_per_item_output_tokens 方法(它们已从协议中移除)。
文件 模块 状态 重要度
docs/design/cuda_graphs_multimodal.md 文档 modified 3.08

分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

无风险。此 PR 仅修改文档,不涉及任何代码或配置变更。

影响范围非常有限,仅影响阅读该文档的开发者。文档更新确保了接口变更的正确传达,有助于减少使用者的困惑。

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论