vllm-project/vllm

移除 Qwen3.8-Flash-Next NVIDIA 路径的 torch.compile 依赖，改用可中断 CUDA 图。

此 PR 值得精读，因为它不仅修复了一个重要的生产问题（FP8 OOM），还展示了如何将模型执行路径从 `torch.compile` 的隐式优化迁移至更显式、可控制的 CUDA 图捕获模式。关键的设计决策包括： 1. **选择性 eager break**：仅在需要运行时元数据（如 `attn_metadata`）的函数上使用 `@eager_break_during_capture`，而不是在整个模型前向传播中。 2. **缓冲区地址稳定性**：通过确保 `ngram_context` 和 `query_start_loc` 缓冲区在捕获和重放期间使用相同的内存地址，避免了 CUDA 图的重新捕获。 3. **参数传递重构**：将 Q/K 投影提前到 `Qwen4ExpQSAAttention.forward` 中，使 `QSAIndexer.forward` 接收预投影的 `projected_qk`，简化了数据流。 推荐关注以下文件：`vllm/models/qwen4_exp/nvidia/qsa.py`（QSA 注意力路径的重构）、`vllm/models/qwen4_exp/nvidia/model_state.py`（缓冲区稳定性逻辑）和 `vllm/models/qwen4_exp/nvidia/ple_layer.py`（PLE 层的 eager break 添加）。

将聊天模板拒绝的异常转为 400 错误，避免 500 崩溃。

该 PR 值得精读。它解决了一个实际用户问题（500 vs 400），实现简洁且通用，并通过清晰的讨论展示了设计演进（从模型特定到通用错误处理）。关注点：1）`_template_error_reason` 的异常链遍历逻辑（防止无限循环）；2）测试用例的设计（使用模拟模板而非真实模型）。注意 coderabbitai 提出的 `return_assistant_tokens_mask` 路径潜在遗漏，但该路径在当前使用场景下可能不常用，可作为后续改进。

修复因 #55180 强制合并引入的注释格式问题，使代码通过 pre-commit 检查。

这是一个非常简单、机械的格式修复 PR，主要目的是纠正由 #55180 强制合并引入的 CI 失败。对于技术管理者和工程师，其精读价值有限。建议将其视为一个维护性提交，并关注其评论中关于 `AGENTS.md` 贡献规范的讨论，了解仓库对独立格式化 PR 的接受度。

扩展 Qwen 模型 Triton 内核预热范围，消除首次请求延迟尖峰。

该 PR 值得精读，尤其是预热策略的设计和对 Triton 编译键的深入理解。它不仅解决了具体的性能问题，还展示了如何通过结构化的预热来优化 JIT 编译密集型系统。重点关注以下设计决策：1) 如何选择预热时的内核参数（如 M-RoPE 的 token 数量、ViT 的空间尺寸）以覆盖 Triton 的不同特化桶；2) 模块拆分和职责划分；3) 对 CPU 卸载等特殊场景的考虑。这些经验可以应用于其他需要预热的场景。

修复 Kimi K3 NVFP4 MoE 权重转换 OOM，优化内存预分配。

该 PR 值得精读，特别是内存预分配策略的设计决策。建议补充测试以确保健壮性。

修复 AsyncLLM 构造函数未初始化 profiler 属性导致 CUDA Profiler 类型无法使用的 bug。

这是一个小而关键的 bugfix，值得精读。其修复逻辑清晰，测试用例直接验证了修复的有效性。关注点在于：1）构造函数中 `self.profiler` 的初始化位置是否合适；2）`coderabbitai` 提出的关于增加 profiler 非空测试用例的建议是否应该跟进。

修复预取卸载器在非整除环上的静态缓冲区槽位所有权覆盖错误。

此 PR 值得精读。虽然变更范围小，但它解决了一个隐蔽且重要的正确性 bug，修复逻辑简洁且数学上可证明其正确性。对于关注模型推理可靠性、权重卸载机制或从事类似离散资源调度开发的工程师，从其设计和测试方法中能学到东西。建议关注其如何精确界定修复边界（仅针对非整除共享槽位环）并提供完备的单元测试来保证契约。