执行摘要
本PR在vLLM的CUDA Graphs设计文档中添加了关于Vision Encoder（ViT）CUDA Graphs的详细章节，文档化PR #35963引入的功能。变更包括新增单独文件cuda_graphs_multimodal.md和更新主文档目录，提供设计、配置和使用指南，影响范围限于文档更新，无代码风险，旨在提升多模态模型性能优化的可理解性。
功能与动机
动机是文档化已有的encoder CUDA graph功能，以帮助用户理解和使用Vision Encoder（ViT）的CUDA Graphs优化。PR body明确说明“documenting the encoder CUDA graph feature from #35963”，解决多模态模型推理中性能优化文档缺失的问题，尤其针对小批次或小图像尺寸场景下的CUDA内核启动开销消除。
实现拆解
改动涉及两个文件：
docs/design/cuda_graphs.md：在目录中添加链接项“* Vision Encoder (ViT) CUDA Graphs”，确保用户能导航到新内容。docs/design/cuda_graphs_multimodal.md：新增文件，包含以下核心模块：
- 动机：解释消除主机端CUDA内核启动开销，提升推理效率。
- 设计：详述预算捕获/重放策略，基于
EncoderCudaGraphManager、SupportsEncoderCudaGraph协议和BudgetGraphMetadata数据类。
- 配置选项：如
encoder_cudagraph_token_budgets，支持用户自定义token预算。
- 使用示例：提供CLI和Python代码片段，例如通过
--encoder-cudagraph-token-budgets启用功能。
关键代码逻辑展示：
@dataclass
class BudgetGraphMetadata:
token_budget: int
max_batch_size: int
graph: torch.cuda.CUDAGraph
input_buffer: torch.Tensor
metadata_buffers: dict[str, torch.Tensor]
output_buffer: torch.Tensor
评论区精华
review讨论中最有价值的交锋包括：
风险与影响
风险分析：纯文档变更，技术风险极低。主要风险为文档准确性，但通过review验证（如性能数据补充）和结构优化，风险已缓解。无回归、性能、安全或兼容性影响，因为未修改任何代码逻辑。
影响分析：
- 用户：提供详细使用指南，可能促进Vision Encoder CUDA Graphs的采用，优化多模态模型推理性能。
- 系统：无直接功能变更，不影响系统行为。
- 团队：标准化文档结构（单独文件模式），便于未来维护和扩展，影响程度低。
关联脉络
本PR直接关联PR #35963，后者引入了Vision Encoder CUDA Graphs功能，是本文档的底层基础。在Issue评论中，开发者如shen-shanshan讨论了未来改进方向（如支持更多模型、基准测试），表明这是一个持续演进的多模态优化领域。从历史PR分析，近期PR如#37926（微批次优化与cudagraph）也涉及CUDA Graphs，但本PR专注于文档，揭示了vLLM在性能优化和多模态支持方面的系统化演进趋势。
参与讨论