Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-09-16 17:47 同步状态:空闲 下次计划:2026-09-16 18:47

PR 列表

更多筛选
2026-07-03

#47361 Delete PagedAttention

原始 PR · 作者 mgoin · 合并时间 2026-07-03 03:31

重构 重要性 8.19 洞察度 4.00

删除弃用的 PagedAttention v1/v2 实现

此 PR 是重要的清理动作,值得开发者关注其背后的决策:vLLM 已完成注意力后端的现代化迁移。阅读 diff 可清晰了解旧代码的结构和如何被替换,对于理解 vLLM 的注意力架构演进非常有帮助。

缺陷修复 重要性 6.18 洞察度 5.00

修复 poolside_v1 工具解析器忽略无换行 tool call 的 bug

该 PR 值得审查,因为一行修复解决了一个静默丢弃 tool call 的问题,测试覆盖良好,且设计上考虑了向后兼容。对于维护工具解析的工程师,可关注其正则设计模式。

缺陷修复 重要性 7.67 洞察度 5.00

修复 V2 ModelRunner 调度时请求槽计数遗漏

建议所有使用 V2 Model Runner 的团队同步此修复。测试文件的 `WorkerSlots` 模拟类设计值得学习,可复用至其他需要验证调度器余额的场景。PR 提交清晰,改动集中,可快速 Code Review。

缺陷修复 重要性 6.27 洞察度 5.00

修复 Whisper 编码器滑动窗口 kernel 大小错配

值得精读,尤其是对涉及 KV 缓存管理或块池化机制的开发者。关键设计决策是将两个消费者的滑动窗口需求分离,并通过+1 余量解决块对齐驱逐的边界问题,是一个简洁而正确的修复。

2026-07-02
功能 重要性 8.83 洞察度 6.00

补齐 Rust 前端调度器日志统计对标 Python

建议阅读此 PR,尤其是 `SchedulerLogStatsAccumulator` 的设计:它展示了如何在 Prometheus 之外累积无法直接表达的数据,并通过 `drain` 模式定期消费。这种模式可推广到其他需要 interval 聚合的统计场景。关于 CUDAGraph 日志暂未输出的问题,团队应在收集反馈后做出取舍。

#47410 support GLM-5.2 gate use FP32

原始 PR · 作者 zRzRzRzRzRzRzR · 合并时间 2026-07-02 22:45

缺陷修复 重要性 6.20 洞察度 6.00

GLM-5.2 MoE 门控强制使用 FP32 路由

推荐精读。这是一个小而精的适配性修复,展示了在 vLLM 中如何优雅地处理模型变体的特殊配置。关键设计点: - 集中路由类型判断逻辑到一个函数 `_get_moe_router_dtype`,易于扩展。 - 利用 `force_fp32_compute` 统一处理 fallback,而不需要改动下游 kernel 选择逻辑。 - `allow_dsv3_router_gemm` 的条件修复也值得关注,说明谨慎的 kernel 路径前置检查是必要的。

参与讨论