A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 liranschour · 合并时间 2026-05-18 20:59
末步 flush 所有待定 KV 转移作业
建议关注 `build_connector_meta` 中的 flush 触发逻辑，以及其与 `is_finished()` 的关联。对于维护 KV offloading 的读者，这个 PR 的 review 讨论具有参考价值。
原始 PR · 作者 zxd1997066 · 合并时间 2026-05-18 20:34
暂时跳过 Intel GPU CI 中一个不稳定的 MoE LoRA 测试
这是一次临时性的、低风险的 CI 稳定性应急措施，不建议精读。但应提醒团队在后续尽快修复被跳过的测试用例，并恢复执行。
原始 PR · 作者 NickLucche · 合并时间 2026-05-18 20:34
KV Connector 存在时默认回退 MRv1
建议精读此 PR 的处理思路：临时降级而非禁用 MRv2，体现了兼容性折中。同时建议关注后续对 `is_kv_transfer_instance` 属性的接入，以精细化降级条件。
原始 PR · 作者 roikoren755 · 合并时间 2026-05-18 19:54
修复 Mamba 混合模型 all 缓存 + 推测解码崩溃
值得精读，特别是 `mamba_mixer2.py` 中 gather 逻辑的设计——通过预计算偏移量一次 gather 多个槽位而非逐 token 操作，是处理 speculative slots 的优雅模式。review 中对 helper 函数是否内敛的讨论也展示了重构取舍。
原始 PR · 作者 kfirtoledo · 合并时间 2026-05-18 19:36
修复 KV Offload 计数 bug，1 行代码变动
建议快速合并。该 PR 虽小但精准，修复了一个真实触发断言的 bug，值得关注其背后的窗口跨越边界场景设计约束。
移除 DPSKV4 未使用的 k_norm LayerNorm
该 PR 值得合并，是一个正确的清理修复。建议关注后续是否还有其他未使用的层或权重需要清理，以保持代码整洁。
CPU 新增 MXFP4 W4A16 融合 MoE 内核支持
值得精读。该 PR 完整演示了如何在 vLLM 模块化 MoE 架构中集成一个新的量化后端（MXFP4），并涉及 C++ 模板泛化、Python 层路由、测试重构等最佳实践。`CPUExpertsMxfp4` 类的接口实现方式可作为类似后端的参考。
优化 CPU 后端线程利用率
推荐合并。这是一个精准且经过基准验证的性能优化，改动量小（+4/-6），风险极低。对于 vLLM CPU 用户，建议关注此 PR 后的性能变化。
参与讨论