Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-08-21 20:44 同步状态:空闲 下次计划:2026-08-21 21:44

PR 列表

更多筛选
2026-06-03
重构 重要性 4.96 洞察度 5.00

CPU 注意力后端 KV 缓存布局标准化为 blocks-first

该 PR 是 CPU 后端标准化的一次小步重构,值得关注其设计思路:通过统一布局降低跨后端复杂度。建议阅读核心变更的代码片段以理解形状转换技巧。

性能优化 重要性 7.66 洞察度 6.00

二分查找加速多模态特征遍历,每步 O(n)→O(log n)

此 PR 是典型的 O(n)→O(log n) 优化范例,推荐精读。关键设计决策包括:二分查找边界处理(使用 offset+length 而不是 offset)、encoder-decoder 特殊处理、以及 request_cached_ids 的清理策略。这些细节值得在类似优化中参考。

性能优化 重要性 8.24 洞察度 8.00

Triton内核加速CPU→GPU小块批量拷贝

建议精读。该PR展示了如何通过数据驱动的调优(阈值扫描、SM数量选择)将定制Triton内核应用于关键IO路径,并提供了详实的E2E基准验证。设计决策(如初始化时解析函数、缓冲复用)值得借鉴。

#44347 [Bugfix] Update TrtLLM MoE routing methods

原始 PR · 作者 wzhao18 · 合并时间 2026-06-03 17:56

缺陷修复 重要性 6.85 洞察度 5.00

修复 TrtLLM MoE 路由方法分类及 dtype 检查

建议尽快合入,以修复 CI 失败和模型兼容性问题。该 PR 展现了精细的路由方法分类调整,可精读 `get_routing_method_type` 的决策树逻辑,了解不同模型的路由模式。

#44388 [Doc] Update ViT CUDA graph interfaces

原始 PR · 作者 shen-shanshan · 合并时间 2026-06-03 16:21

文档 重要性 2.60 洞察度 3.00

更新 ViT CUDA 图文档,同步代码变更

此 PR 是纯粹的文档同步更新,对大多数工程师无需精读。但若您正在使用或开发 ViT CUDA 图系统,建议查看此文档以了解最新的 API 和流程。

缺陷修复 重要性 8.66 洞察度 7.00

修复 HF chat template 渲染的数字精度和字段影子问题

本 PR 值得精读,尤其关注以下要点:(1)如何在不修改 MiniJinja 核心的前提下,通过自定义 Object 和 pycompat 后门解决字段与方法冲突的设计模式;(2)全局 `serde_json` 特性调整时的依赖影响评估思路;(3)测试用例设计中对渲染精度妥协的明确标注。对于同样使用 MiniJinja 渲染 HF 模板的其他项目,此方案具有直接参考价值。

参与讨论