修复 MoE 核测试中 fixture scope 导致测试隔离失败
可立即合并,解决 CI 中测试隔离问题。建议审查其他测试文件是否存在类似问题(使用 `scope="module"` 的 autouse fixture)。
A high-throughput and memory-efficient inference and serving engine for LLMs
修复 MoE 核测试中 fixture scope 导致测试隔离失败
可立即合并,解决 CI 中测试隔离问题。建议审查其他测试文件是否存在类似问题(使用 `scope="module"` 的 autouse fixture)。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-24 01:16
将 cudagraph 测试隔离到子进程,删除手动 GPU 内存清理
此 PR 值得阅读以了解测试隔离的最佳实践,尤其当测试涉及 GPU 资源时。设计决策可复用于其他类似测试文件。
原始 PR · 作者 yewentao256 · 合并时间 2026-07-24 01:08
DSv4 短上下文跳过 topk 与 router,TTFT 降低 3.4%
这是一个典型的小改动大收益的性能优化 PR,代码简洁安全。建议重点阅读 Triton kernel 的实现和 cuda graph 兼容性。对于 DeepSeek V4 推理服务,建议合并;后续可考虑增加单元测试覆盖短上下文边界情况。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-24 00:54
量化测试显式指定设备,消除 fixture 副作用
可以直接合并。该 PR 虽小,但为解决 CI 不稳定提供了正确且简洁的方案,值得学习其对待全局 fixture 影响测试隔离性的处理方式。
原始 PR · 作者 vllm-agent · 合并时间 2026-07-24 00:51
回滚导致 GPU coredump 的 attn metadata 构建变更
该 PR 值得精读,因为它揭示了一个重要的设计约束:在 CUDA graph 捕获中,FlashAttention Sm90 内核在 eager 模式下对模拟输入敏感,不能简单移除 skip_attn 保护。后续如果要重新引入该特性,需要更稳健的条件判断。
原始 PR · 作者 yuyue0225sc · 合并时间 2026-07-24 00:14
修复异步调度+推测解码下推理结束标记丢失导致结构化输出失效
本 PR 值得精读,尤其是 `should_advance` 的重构和统一路径的设计决策。它展示了如何在跨多个上游后端的情况下通过 vLLM 层防御性修复设计缺陷。建议在合并后确认 E2E 回归(特别是非推测解码路径),并考虑后续删除占位符回退路径,强制所有调用点传递 `new_token_ids`。
修复 GPTQ Qwen3.5 MTP 权重加载失败
建议精读该 PR,了解 GPTQ 量化与推测解码 MTP 层加载的交互机制。该 PR 可作为轻量级修复的范例,但需要关注 Issue 评论中 `sdougbrown` 提出的更通用修复建议。
原始 PR · 作者 guan404ming · 合并时间 2026-07-23 21:58
将 MM embeds 加载异步化以释放事件循环
该 PR 设计简洁、测试充分、性能提升明显,值得合并。建议其他开发者注意:未来新增 embedding 类型时应同步提供异步方法以避免类似问题。
参与讨论