vllm-project/vllm

动态调整 DeepSeek V4 解压收集内核启动网格，显著提升 batch-invariant 解码性能。

本 PR 值得精读：它针对一个实际性能瓶颈，提供了清晰的解决方案和详尽的性能数据。关键设计决策是动态计算 grid.y 的公式 `max(1, min(ceil(max_rows/4), ceil(8192/num_reqs)))`，平衡了并行度和资源利用率，是 GPU 内核优化中的一个优秀案例。

修复 P/D 服务中投机解码请求因缺少本地运行任务而无法正确填充形状的问题。

本 PR 是一个目标明确、效果显著的 bug 修复。其解决方案优雅（仅修改一个逻辑条件），通过详实的性能数据证明了其价值，并附带了针对性的回归测试。对于关注 P/D 服务、投机解码性能或调度器稳定性的工程师来说，这是一个值得精读的案例，它清晰地展示了调度逻辑中的一个细微条件如何对系统整体性能产生巨大影响。建议技术管理者将此作为改进 DP 集群效率的一个参考。

为OffloadingConnector添加retention interval支持，通过稀疏化KV缓存存储提升性能。

这个PR是一个高质量且重要的性能优化。建议精读以下内容： 1. **核心设计**：`reachable_block_mask`方法如何统一处理SWA和Mamba的稀疏化，以及`retention_interval`、`reachable_boundaries`参数如何协同工作。 2. **索引空间转换**：调度器中从块索引到KV块索引的转换逻辑，这是正确性的关键。 3. **DCP兼容性处理**：特别是Mooncake协调器中`dcp_world_size=1`的固定值，以及`SlidingWindowManager`中的回退逻辑，这些是分布式场景下的重要考量。 4. **讨论中的决策**：review中关于共享前缀边界、纯SWA/Mamba模型对齐、以及错误处理降级的讨论，揭示了设计权衡。 总体而言，该PR对于理解和扩展vLLM的KV缓存卸载策略非常有价值，尤其是在混合架构和分布式环境下。

为 TheRock (ROCk) Docker 镜像构建搭建 CI/CD 管道，并增强发布脚本的多变体支持。

此 PR 是 ROCm 基础设施建设的重要一步，**值得 CI/CD 维护者和 ROCm 相关开发者精读**。其核心价值在于：1) 为新的构建变体提供了完整的 CI/CD 集成模板；2) 展示了如何通过参数化和元数据传递来扩展现有的复杂发布管道。重点关注以下设计决策： - ECR 缓存策略（基于文件哈希的缓存键）。 - 发布脚本从硬编码到参数化的重构方式，以及错误处理的增强。 - 新构建步骤与现有流程的并行关系（共享清理预算、依赖 block 步骤）。 - PR body 中对“清理策略冲突”和“未来扩展性”的主动说明，体现了良好的工程权衡意识。此 PR 的风险较低，且作者已明确标记了已知问题和后续计划，适合作为基础设施演进的参考案例。

为 GPU BlockStored 事件添加可选的 session_id 字段，支持会话级 KV 缓存观察。

此 PR 值得精读，尤其是以下设计决策：1) 利用 msgspec 的 `omit_defaults=True` 实现优雅的向后兼容；2) 保持 `session_id` 为“触发者”语义而非“所有者”语义，避免了复杂的块所有权推理；3) 关键的非回归测试确保了缓存共享机制不受元数据扩展的影响。对于关注 KV 缓存系统演进或构建 vLLM 上层控制平面的工程师，此 PR 的实现和测试模式有直接的借鉴意义。

修复 DCP 模式下 GLM-5.3/DeepSeek-V3.2 融合内核在非所有者 rank 上未生成 K 输出导致的生成错误。

该 PR 值得精读。它修复了一个影响核心模型（DeepSeek-V3.2/GLM-5.3）在分布式推理（DCP）模式下的关键正确性缺陷。修复方案清晰、精准，通过在控制流中分离“输出生成”与“缓存所有权”来解决问题。配套的测试用例设计得非常好，直接验证了修复的意图。该 PR 是近期修复 DCP 模式相关 bug 的系列工作（如 #50005）的一部分，对于维护 vLLM 分布式推理功能的正确性至关重要。

将采样掩码紧凑操作移至 GPU，消除 CPU 端的 O(num_reqs × vocab) 解包开销，恢复高并发下的解码吞吐量。

这个 PR 值得精读，因为它解决了一个严重的生产性能问题，且设计决策（如 GPU 紧凑、宽度上限、回退机制）展示了在 GPU-CPU 协同优化中的良好实践。核心 Triton 内核实现和测试策略（覆盖各种支持大小）也值得学习。

为 Rust 前端 chat completion 添加 reasoning_tokens 用量报告。

该 PR 值得精读。它展示了一个跨 crate 的、类型安全的数据流设计：从解析器层的归因信息 (`attributions`)，通过中间事件 (`AssistantEvent`) 和总线 (`ChatEvent`)，最终抵达服务器响应模型 (`Usage`)。关于 `token_count: Option<usize>` 的讨论是典型的 API 设计权衡，值得学习。建议关注 `UnifiedParserState` 的累计逻辑与 `ContinuousUsage` 的收敛逻辑。