Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-09-16 17:47 同步状态:空闲 下次计划:2026-09-16 18:47

PR 列表

更多筛选
2026-07-02
功能 重要性 9.07 洞察度 6.00

实现异质词汇表间的通用投机解码 (TLI)

建议重点关注 `vocab_mapping.py` 中的核心算法(空间前缀探测、归一化、交集构建),以及 `speculative.py` 中的配置验证逻辑。对于考虑使用异质草稿模型的团队,此 PR 是关键里程碑。推荐精读源码和测试。

缺陷修复 重要性 5.84 洞察度 7.00

修复 FlashInfer MoE 调优 token 上界误用 CUDA graph 参数

值得精读。虽然变更极小(2行删除),但背后反映了深度学习框架中配置参数语义传递的关键问题:`max_capture_size` 描述的是 CUDA graph 的捕获容量,与 MoE 内核实际执行的 token 范围无关。这个案例展示了性能调优中参数语义正确性的重要性,也说明了回退到稳定基线是应对性能回归的安全有效策略。

功能 重要性 8.66 洞察度 7.00

ROCm MLA FP8路径融合q/kv RMSNorm与per-token量化

建议精读该PR,特别是模式匹配pass的设计。它展示了如何处理编译pass间的流水线依赖——利用已有pass的规范形式作为匹配目标,而非试图匹配更原始的图结构。此外,关于availability guard取舍的讨论也值得关注。对于仅关心功能的读者,可以直接合并该PR以获得ROCm FP8 MLA路径的性能提升。

缺陷修复 重要性 7.19 洞察度 6.00

修复 MTP 投机解码 topk 索引共享 bug

值得仔细阅读,尤其是 MTP 投机解码的实现细节。该 PR 为精确修复,展示了 attention 索引共享机制中 buffer layout 假设不一致导致的 bug。建议在后续 PR 中增加单元测试覆盖 compact 逻辑。

#47319 [UX] Include NVTX in cuda.txt

原始 PR · 作者 jeejeelee · 合并时间 2026-07-02 10:38

缺陷修复 重要性 2.34 洞察度 1.00

在 cuda.txt 中添加 nvtx 依赖

该 PR 是明确的 bugfix,变更简单,建议合并。

性能优化 重要性 3.84 洞察度 3.00

用CUDA函数替代PTX内联汇编实现PDL指令

本PR是一个典型的CUDA kernel清理工作,值得其他kernel模块借鉴。虽然改动不大,但展示了如何将PTX替换为官方API并引入实用启发式。建议有SM90+硬件的团队验证性能,并考虑将PDL阈值变为可配置参数。

参与讨论