Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-08-21 18:24 同步状态:空闲 下次计划:2026-08-21 19:24

PR 列表

更多筛选
2026-06-11
功能 重要性 9.00 洞察度 5.00

Rust 前端添加 LoRA 请求指标导出

该 PR 值得重点关注其设计权衡:LoRA 信息来源的选择(前端跟踪 vs 调度器直接输出)。当前方案复制了 Python 前端的模式,未来可能需重新评估。此外,`LoraAdapterNames` 的 newtype 实现和 Prometheus label 编码方式可作参考。

#43805 Hidden states extraction improvements

原始 PR · 作者 fynnsu · 合并时间 2026-06-11 21:44

功能 重要性 8.67 洞察度 6.00

重构HiddenStatesConnector保存流程,支持chunked prefill和每请求配置

对于使用hidden states extraction的开发者,此PR移除了重要的限制(chunked prefill),建议更新配置并测试。对于核心开发者,此PR的异步保存设计和锁机制值得参考。Review中的安全和正确性讨论也很有价值。

功能 重要性 6.92 洞察度 6.00

单全注意力组KV缓存跨并行尺寸复用

本PR设计值得精读:将并行无关判断集中于 `FileMapper`,通过布尔参数让各tier透明受益,是一种清晰的关注点分离。特别是对子类关系的处理(排除 MLA)体现了防御式编程。建议在引入新的注意力类型时同步更新排除条件。

文档 重要性 2.34 洞察度 3.00

SECURITY.md 新增安全修复披露策略

值得快速阅读,了解 vLLM 项目的安全响应流程。对于安全研究人员和贡献者来说,这是一份必要的参考文档。

#42679 fix: guard flash-attn rotary import

原始 PR · 作者 he-yufeng · 合并时间 2026-06-11 20:43

缺陷修复 重要性 6.51 洞察度 4.00

修复 FA4 下 rotary 导入崩溃

推荐合并。这是一个明确且安全的 bugfix,修复了 FA4 兼容性问题,代码简洁,评审充分。对于维护者,可关注未来 flash_attn 导入路径的进一步变化。

缺陷修复 重要性 4.61 洞察度 3.00

修复 Python 3.10 下 spinloop 扩展编译失败

值得合并的构建修复,逻辑清晰且对齐了运行时行为。建议阅读 PR 中的讨论,了解构建时和运行时 fallback 的设计配合,对于类似需要兼顾多版本兼容的扩展构建有参考价值。

参与讨论