A high-throughput and memory-efficient inference and serving engine for LLMs
作者 hmellor · 合并时间 2026-03-25 00:01
更新GitHub新PR机器人消息，以劝阻AI代理提交低价值PR。
此PR变更简单，对于大多数工程师无需精读；但值得关注其如何通过基础设施手段管理贡献质量，可作为类似场景的参考。
作者 noooop · 合并时间 2026-03-24 22:07
弃用 pooling 多任务支持，要求用户通过配置显式指定任务。
建议技术管理者和工程师精读此 PR，因为它展示了 API 弃用和重构的设计决策，特别是 `get_pooling_task` 方法中的任务优先级逻辑和错误处理模式。关注 `vllm/config/model.py` 和 `vllm/entrypoints/llm.py` 的变更，以理解如何平衡向后兼容性和简化架构。
作者 bigPYJ1151 · 合并时间 2026-03-24 22:00
为 CPU 后端添加 slot mapping kernel 替换实现，移除 CI softfail 以提升测试可靠性。
该 PR 值得精读，特别是对于关注 CPU 后端优化或 kernel 实现的工程师。值得关注的设计决策包括：使用 OpenMP 进行并行化的策略、通过 monkey-patching 实现回退的灵活性，以及 CI 配置从实验性到正式化的转变。建议检查代码质量问题是否已在后续提交中修复。
作者 sagearc · 合并时间 2026-03-24 20:36
修复 vllm launch render 在 CPU 机器上打印误导性 KV 缓存警告的问题。
该 PR 改动较小，值得快速 review 以了解 bugfix。建议关注全局状态修改的设计权衡，并考虑在 future 重构中采用更封装的方法。
作者 ilmarkov · 合并时间 2026-03-24 19:50
移除主线程与EPLB异步线程的同步等待，优化异步调度性能。
建议工程师精读此PR以学习异步同步优化设计，特别关注CUDA事件与流同步的权衡。性能关键路径的团队应验证在特定负载下的效果。
作者 hmellor · 合并时间 2026-03-24 18:20
修复文档构建问题，移除对 psutil inventory 的引用。
变更简单直接，不值得精读，但可作为处理外部依赖问题的参考案例。
作者 sfeng33 · 合并时间 2026-03-24 13:58
修复tool_parser_cls类型注解从Callable改为type[ToolParser]，提升类型安全。
建议快速浏览此PR以了解类型注解最佳实践，特别是使用`type[ToolParser]`表示类引用的方式，适合关注代码质量的工程师参考；无需深入分析，变更简单直白。
作者 ronensc · 合并时间 2026-03-24 13:02
重构 CPU KV-cache offloading 子系统，采用策略模式统一 LRU/ARC 管理器并优化代码结构。
建议工程师精读此 PR，重点关注策略模式的应用、原子性 evict 方法的实现（如 LRUCachePolicy.evict 的原子性保证），以及文件结构重组的设计决策。这些设计值得学习，有助于理解如何减少重复代码和优化模块化。
参与讨论