Rust 前端添加 LoRA 请求指标导出
该 PR 值得重点关注其设计权衡:LoRA 信息来源的选择(前端跟踪 vs 调度器直接输出)。当前方案复制了 Python 前端的模式,未来可能需重新评估。此外,`LoraAdapterNames` 的 newtype 实现和 Prometheus label 编码方式可作参考。
A high-throughput and memory-efficient inference and serving engine for LLMs
Rust 前端添加 LoRA 请求指标导出
该 PR 值得重点关注其设计权衡:LoRA 信息来源的选择(前端跟踪 vs 调度器直接输出)。当前方案复制了 Python 前端的模式,未来可能需重新评估。此外,`LoraAdapterNames` 的 newtype 实现和 Prometheus label 编码方式可作参考。
重构HiddenStatesConnector保存流程,支持chunked prefill和每请求配置
对于使用hidden states extraction的开发者,此PR移除了重要的限制(chunked prefill),建议更新配置并测试。对于核心开发者,此PR的异步保存设计和锁机制值得参考。Review中的安全和正确性讨论也很有价值。
修复 MiniCPM-V 4.6 图片尺寸顺序错误
值得合并。修复清晰,风险低,影响面小。
单全注意力组KV缓存跨并行尺寸复用
本PR设计值得精读:将并行无关判断集中于 `FileMapper`,通过布尔参数让各tier透明受益,是一种清晰的关注点分离。特别是对子类关系的处理(排除 MLA)体现了防御式编程。建议在引入新的注意力类型时同步更新排除条件。
原始 PR · 作者 jperezdealgaba · 合并时间 2026-06-11 20:48
SECURITY.md 新增安全修复披露策略
值得快速阅读,了解 vLLM 项目的安全响应流程。对于安全研究人员和贡献者来说,这是一份必要的参考文档。
修复 FA4 下 rotary 导入崩溃
推荐合并。这是一个明确且安全的 bugfix,修复了 FA4 兼容性问题,代码简洁,评审充分。对于维护者,可关注未来 flash_attn 导入路径的进一步变化。
升级CUDA Docker GCC至11.3适配PyTorch C++20
此 PR 是必要的上游兼容性跟进,变更明确且讨论充分。建议合并,并提醒维护者关注 PyTorch 未来 C++ 标准变更的影响。
修复 Python 3.10 下 spinloop 扩展编译失败
值得合并的构建修复,逻辑清晰且对齐了运行时行为。建议阅读 PR 中的讨论,了解构建时和运行时 fallback 的设计配合,对于类似需要兼顾多版本兼容的扩展构建有参考价值。
参与讨论