执行摘要
- 一句话：将TorchInductor缓存目录嵌套在AOT编译目录下，实现自包含缓存树。
- 推荐动作：该PR实现简洁，但涉及编译缓存的核心路径变更，建议相关开发者精读。特别关注环境变量设置的持久性需求与上下文管理器建议之间的权衡，以及目录创建错误处理的决策。
功能与动机
根据PR body描述，当前使用VLLM_USE_AOT_COMPILE时，mega-artifact保存在~/.cache/vllm/torch_compile_cache/torch_aot_compile/{hash}/rank_{r}{dp}/model，但Triton和Inductor在加载时默认将其磁盘状态（fx_graph/aotautograd/triton cubins/生成的.py文件）解压到/tmp/torchinductor$USER/。除非该目录作为部署的一部分被复制，否则每个新环境都会支付首次解包成本，且/tmp在重启时会被清空，导致成本重复。
实现拆解
本PR仅修改了vllm/compilation/decorators.py文件中的__call__方法。关键改动包括：1. 在计算缓存目录后，设置self.compilation_config.local_cache_dir = cache_dir；2. 构建inductor_cache = os.path.join(cache_dir, "inductor_cache")；3. 使用os.makedirs创建该目录；4. 无条件设置环境变量os.environ["TORCHINDUCTOR_CACHE_DIR"] = inductor_cache，以确保后续编译、CUDA图捕获和自动调优等操作都能写入该目录。
关键文件：
vllm/compilation/decorators.py（模块 compilation）: 唯一修改的文件，包含编译装饰器的__call__方法，负责设置TorchInductor缓存目录。
关键符号：call
评论区精华
review讨论主要集中在两个点：1. gemini-code-assist[bot]指出os.makedirs(inductor_cache, exist_ok=True)没有检查目录创建是否成功或处理权限错误，可能导致运行时失败。作者fulvius31回应这是有意为之，与vllm/compilation/compiler_interface.py第451行的行为一致。2. zhxchen17建议使用torch._inductor.utils._set_env上下文管理器来设置环境变量，但作者解释该上下文管理器仅用于测试，而本PR需要环境变量在__call__方法返回后仍保持设置，以支持后续的编译、CUDA图捕获和自动调优等操作。最终作者添加了更详细的注释说明意图，并获得批准。
- 目录创建错误处理 (correctness): 作者fulvius31回应这是有意为之，与现有代码行为一致。
- 环境变量设置方式 (design): 作者添加详细注释说明意图，并保留直接设置os.environ的方式。
风险与影响
- 风险：主要风险包括：1. 目录创建失败风险：os.makedirs没有错误处理，如果路径无效或权限不足，可能导致运行时失败。但作者指出这与现有代码行为一致。2. 环境变量污染风险：无条件设置TORCHINDUCTOR_CACHE_DIR可能影响同一进程中的其他编译操作，但讨论中指出默认情况下该更改会被隔离在工作子进程中。3. 兼容性风险：依赖TorchInductor的缓存目录嵌套行为（Triton缓存自动嵌套在inductor_cache下），如果PyTorch未来改变此行为，可能需要调整。
- 影响：对用户的影响：部署AOT编译模型时，只需复制整个哈希目录即可在新环境中跳过解包步骤，减少首次运行延迟。对系统的影响：缓存目录结构更清晰，自包含性增强，但可能增加磁盘空间使用（因为缓存不再依赖/tmp）。对团队的影响：简化了部署流程，但需要确保部署脚本正确复制整个缓存树。
- 风险标记：目录创建无错误处理, 环境变量全局设置, 依赖PyTorch内部行为
关联脉络
- PR #39240 Measure encoder compile time seperate from llm backbone: 同属compilation模块，涉及编译时间测量和配置，可能共享类似的编译缓存逻辑。
- PR #38061 [MM][Perf][CG] Support ViT full CUDA graph for Qwen3-VL video inference: 涉及CUDA图支持，与本PR的缓存目录设置相关，因为CUDA图捕获需要写入inductor_cache目录。
参与讨论