修复 Qwen3-VL EVS 设备不匹配错误
这是一个针对特定模型特定功能的紧急修复,改动经过验证且明确。建议快速合并。
A high-throughput and memory-efficient inference and serving engine for LLMs
修复 Qwen3-VL EVS 设备不匹配错误
这是一个针对特定模型特定功能的紧急修复,改动经过验证且明确。建议快速合并。
原始 PR · 作者 wangxiyuan · 合并时间 2026-06-04 18:45
统一Mamba线性注意力层基类,合并Bailing/MiniMax实现
该PR是vLLM中Mamba Attention模块系统重构的重要步骤,展示了如何利用可插拔层(`PluggableLayer`)和多继承(`MambaBase`)进行统一接口设计。建议关注`LinearAttention`基类的设计模式,以及通过注册机制解耦具体实现的方法。对于后续重构系列的其他PR(如SSM注意力重构)有参考价值。
集成 Flashinfer Gemma RMSNorm AR 融合,优化 Qwen3.5 推理吞吐
值得精读,特别是模式匹配的注册技巧和 `extra_check` 的使用,以及如何通过 `weight_bias` 抽象 Gemma 的特异性。展示了在 vLLM 编译 passes 中扩展新融合模式的标准流程。
原始 PR · 作者 Kevin-XiongC · 合并时间 2026-06-04 16:14
修复 Kimi-K2.5 FlashInfer ViT 元数据处理错误
建议合并,尤其如果团队维护 Kimi-K2.5 多模态支持。值得关注的设计决策是避免 GPU 张量上的 `.tolist()` 调用以及将 `grid_thws` 保持 CPU 固定,这是性能优化通用经验。
DeepSeek V4 滑动窗口 KV cache 选择性保留与回收优化
值得精读,尤其是 `prepend_n` + `free_blocks` 的回收优先级设计以及 `_validate_prefix_cache_retention_interval` 的输入校验模式。建议在 DeepSeek V4 以外的滑动窗口模型(如 Mistral)上验证兼容性,并考虑将 retention 机制推广到 Mamba 组(当前 `TODO`).
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-06-04 15:37
回退 dockerignore 改动并修复 ROCm SCCACHE 崩溃
该 PR 为应急修复,技术价值有限但维护了 CI/CD 稳定性。建议阅读以了解 sccache 环境变量空值导致崩溃的潜在陷阱,以及 Docker 构建中 .dockerignore 与 git 工作树检查的冲突问题。
统一 online serving 工具模块至 vllm/entrypoints/serve/utils
建议在合并前重点关注标准库 ssl 覆盖问题,确认是否需保留标准 ssl 导入或调整自定义 ssl 模块以兼容常量。同时建议通过 CI 运行所有 entrypoints 相关测试,确保导入路径正确性。整体上,这是一次有益的重构,合并后应跟进任何出现的导入错误。
原始 PR · 作者 okorzh-amd · 合并时间 2026-06-04 13:03
为 vllm 自定义 op 添加 Inductor 快速回退路径,防止编译挂起
此 PR 值得精读,尤其是对使用 `torch.compile` 的团队。设计模式(代理类包装全局 set)是低侵入性修补的范例。建议在后续 PyTorch 升级后测试兼容性。
参与讨论