vllm-project/vllm

DSv4 公共注意力内核迁入共享 warmup 契约，避免运行时 JIT

值得精读。这是 vLLM 运行时零 JIT 编译计划中承上启下的核心 PR：它展示了如何用紧凑的类封装把 Triton 的隐式 JIT 缓存键显式化，并通过 `_trace_dispatch` 的 AST 追踪自动展开 warmup 空间。重点关注三处设计：一是 `CompileKey` 字段的选取原则（只纳入影响编译的 constexpr/指针类型/strides），二是 `warmup_inputs` 必须与运行时 launch 形状严格一致（dtype、stride、do_not_specialize），三是 `kernel_launcher` 声明式 launch 与输出分配的解耦。这些模式对任何需要消除运行时编译的 Triton 内核开发都有直接借鉴价值。

为 SarvamMLA 模型启用 torch.compile 支持，通过添加编译装饰器和动态维度声明。

这是一个标准且低风险的功能使能 PR。虽然改动很小（+11 行），但它为 SarvamMLA 模型正式引入了重要的性能优化路径。对于关注 vLLM 编译支持和 Sarvam 模型的工程师，此 PR 值得快速浏览，以了解如何为 MLA 架构模型配置 `torch.compile`。其设计决策（复用 DeepSeek-V2 的配置）清晰合理，可以直接采纳。

修复 EAGLE + Mamba 前缀缓存中 EAGLE 剪枝导致缓存丢失的问题，提升前缀复用率。

本 PR 值得精读，它解决了一个实际部署中导致前缀缓存失效的 bug，并通过精心设计的条件门控确保安全引入。关键设计决策包括：将调度器和管理器的条件统一到单一谓词、在 junction 处停止而非块对齐、以及默认关闭以确保向后兼容。测试策略（使用真实调度器和管理器、参数化扫掠、变异测试覆盖）是高质量的。文档更新完整。建议关注 `get_replay_boundary` 的实现和 `_cache_partial_tail_block` 的扩展逻辑。

修复 Transformers 后端丢失注意力 sink 导致模型输出错误的问题。

**推荐**： 1. **值得精读**：本修复解决了影响多个重要模型的核心正确性问题，修复方式体现了良好的架构扩展性（扩展现有 `AttentionFuser` 而非引入新类），测试覆盖全面。对于关注 vLLM Transformers 后端演进或注意力机制集成的工程师特别值得精读。 2. **关注点**： - `AttentionFuser.sinks()` 的 AST 解析模式，展示了如何从 Transformers 模型源码中自动发现接口参数。 - 防御性检查 `check_sinks` 的设计，平衡了运行时开销和错误检测。 - 将注意力实例注册为 `nn.ModuleList` 的决策，解决了 PyTorch 模块系统的集成问题。 3. **后续工作**：如评论者提到的，与 PR #54941 的 `AttentionFuser` 集成值得跟进，以统一处理 `scaling` 和 `s_aux` 参数。 4. **风险考量**：建议在合并前运行多 GPU 测试以验证张量并行下的 sink 分片正确性，尽管单 GPU 场景已充分验证。

为 DeepEncoder 全局注意力融合相对位置偏置到 Triton 内核，消除 384MiB 临时分配并降低延迟 52%。

该 PR 值得精读。它展示了一个从问题识别（384MiB 临时分配）到方案设计（fusion vs. SDPA）再到具体实现（Triton 内核）的完整性能优化流程。关键设计决策包括：1) 使用 online softmax 避免 materialization；2) 严格限定优化路径的适用范围以保证正确性；3) 根据项目方向（去 torch.compile）调整技术方案。测试覆盖全面，包括数值等价性、设备验证和 CUDA 图兼容性。

修复 SimpleCPUOffload 在 prompt_logprobs 请求时错误命中 CPU 缓存的问题。

这是一个值得精读的 bugfix PR。它清晰地展示了一个常见的设计模式：在缓存或调度层，尊重上层请求的显式“绕过”标志。实现简洁，测试覆盖了核心场景（缓存命中、跳过、资源释放），且与同类问题（PR#44592）的修复方法论一致。建议关注其测试用例的设计思路。

为 SM12x Blackwell GPU 启用 FlashInfer GDN prefill 内核，提升 5-7% 的吞吐和延迟。

本 PR 值得精读。它是一个典型的、高质量的“漏网之鱼”修复：变更集中（仅一个文件）、有充分的性能/正确性数据支撑、且解决了新硬件上的静默性能劣化问题。其设计决策（保持条件与 SM10x 一致、注释说明不启用 CuteDSL 的原因）清晰且易于维护。对于关注性能优化和硬件适配的工程师，这个 PR 展示了如何以最小化代码变更，精准地为新硬件启用已有的加速内核。