删除弃用的 PagedAttention v1/v2 实现
此 PR 是重要的清理动作,值得开发者关注其背后的决策:vLLM 已完成注意力后端的现代化迁移。阅读 diff 可清晰了解旧代码的结构和如何被替换,对于理解 vLLM 的注意力架构演进非常有帮助。
A high-throughput and memory-efficient inference and serving engine for LLMs
删除弃用的 PagedAttention v1/v2 实现
此 PR 是重要的清理动作,值得开发者关注其背后的决策:vLLM 已完成注意力后端的现代化迁移。阅读 diff 可清晰了解旧代码的结构和如何被替换,对于理解 vLLM 的注意力架构演进非常有帮助。
修复 poolside_v1 工具解析器忽略无换行 tool call 的 bug
该 PR 值得审查,因为一行修复解决了一个静默丢弃 tool call 的问题,测试覆盖良好,且设计上考虑了向后兼容。对于维护工具解析的工程师,可关注其正则设计模式。
修复 V2 ModelRunner 调度时请求槽计数遗漏
建议所有使用 V2 Model Runner 的团队同步此修复。测试文件的 `WorkerSlots` 模拟类设计值得学习,可复用至其他需要验证调度器余额的场景。PR 提交清晰,改动集中,可快速 Code Review。
修复 Whisper 编码器滑动窗口 kernel 大小错配
值得精读,尤其是对涉及 KV 缓存管理或块池化机制的开发者。关键设计决策是将两个消费者的滑动窗口需求分离,并通过+1 余量解决块对齐驱逐的边界问题,是一个简洁而正确的修复。
原始 PR · 作者 chaunceyjiang · 合并时间 2026-07-03 00:31
GLM-5.2 DSA indexer 预填充元数据 kernel 预热
该 PR 值得精读,它展示了如何在 vLLM 的预热框架中为特定后端 kernel 添加预热,是性能优化的典型模式。
补齐 Rust 前端调度器日志统计对标 Python
建议阅读此 PR,尤其是 `SchedulerLogStatsAccumulator` 的设计:它展示了如何在 Prometheus 之外累积无法直接表达的数据,并通过 `drain` 模式定期消费。这种模式可推广到其他需要 interval 聚合的统计场景。关于 CUDAGraph 日志暂未输出的问题,团队应在收集反馈后做出取舍。
原始 PR · 作者 zRzRzRzRzRzRzR · 合并时间 2026-07-02 22:45
GLM-5.2 MoE 门控强制使用 FP32 路由
推荐精读。这是一个小而精的适配性修复,展示了在 vLLM 中如何优雅地处理模型变体的特殊配置。关键设计点: - 集中路由类型判断逻辑到一个函数 `_get_moe_router_dtype`,易于扩展。 - 利用 `force_fp32_compute` 统一处理 fallback,而不需要改动下游 kernel 选择逻辑。 - `allow_dsv3_router_gemm` 的条件修复也值得关注,说明谨慎的 kernel 路径前置检查是必要的。
原始 PR · 作者 WoosukKwon · 合并时间 2026-07-02 22:32
修复 V2 投机解码 block 验证 kernel int32 索引溢出
值得精读,展示 Triton 内核中因混合 int32/int64 导致的索引溢出典型修复模式,测试设计(参数化溢出场景)值得学习。
参与讨论