Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-08-21 21:57 同步状态:空闲 下次计划:2026-08-21 22:57

PR 列表

更多筛选
2026-05-29
缺陷修复 重要性 5.55 洞察度 3.00

Responses API 支持 chat_template_kwargs 传递

修复明确、风险低、影响集中在特定模型配置场景。建议阅读以了解 Responses API 与 chat_template_kwargs 的交互逻辑。无需精读。

性能优化 重要性 4.02 洞察度 5.00

消除稀疏注意力 GPU 气泡

建议合入。此 PR 很好地展示了如何通过消除 GPU 微气泡来提升性能,是 ROCm 上 DSv4 推理链路中的一次精细优化。值得关注的设计点:用 `torch.zeros` 合并赋值操作减少 kernel launch、用已知 host 值替代 D2H 同步获取 `indptr[-1]`。

性能优化 重要性 5.78 洞察度 6.00

CPU top-k/top-p 采样切换到 Triton 实现

本 PR 虽改动量小,但展示了在 CPU 后端使用 Triton 的典型模式:调整 block size、条件编译、集成测试。值得关注其设计权衡和 CI 集成方式。建议阅读以了解 vLLM CPU 后端的优化方向。

重构 重要性 7.53 洞察度 6.00

迁移注意力与缓存内核至 torch stable ABI

此 PR 是持续 ABI 迁移的重要一环,值得核心开发者精读。重点关注 `concat_mla_q` 调度类型迁移的修复过程、头文件移动策略的讨论、以及 `quant_utils.cuh` 部分稳定性的权衡。这些模式将指导后续阶段。 普通审阅者应关注构建是否正确、测试是否覆盖以避免回归。 建议团队在后续 PR 中尽快完成 `quant_utils.cuh` 的完全迁移,并考虑为缓存操作添加更多单元测试。

#43234 [Refactor] Remove dead code

原始 PR · 作者 yewentao256 · 合并时间 2026-05-29 12:29

重构 重要性 6.88 洞察度 3.00

跨模块移除不可达死代码与废弃配置

该 PR 是良好的常规清理,值得关注每个删除项的理由。尤其推荐注意 longcat_flash_mtp 分支被前序逻辑覆盖的设计模式,以及 fused_moe 中如何通过删除参数来消除死分支。对于代码审查者,建议验证每个删除确实无外部依赖。

性能优化 重要性 6.62 洞察度 5.00

跳过 decode 阶段 KV block 的 CPU 卸载

值得精读,特别是如何通过 clamp 操作实现大幅性能提升,以及 Review 过程中设计演进(默认值、命名)的决策思路。

参与讨论