修复Mooncake connector中Mamba状态跨TP复制错误
建议所有使用Mooncake connector的用户升级,尤其是混合模型场景;开发人员可学习per-group replication factor的设计模式。
A high-throughput and memory-efficient inference and serving engine for LLMs
修复Mooncake connector中Mamba状态跨TP复制错误
建议所有使用Mooncake connector的用户升级,尤其是混合模型场景;开发人员可学习per-group replication factor的设计模式。
原始 PR · 作者 zhenwei-intel · 合并时间 2026-07-25 10:26
XPU Graph 启用时输出实验性警告
该 PR 设计简洁明确,值得作为 XPU 平台文档的补充,建议用户关注警告中的限制说明。对理解 XPU 平台的当前状态有参考价值。
原始 PR · 作者 zhenwei-intel · 合并时间 2026-07-25 08:36
修复 KV 测试日志捕获问题
快速合并。该 PR 虽小但解决了 CI 稳定性问题,值得合入。建议关注 `caplog_vllm` fixture 的实现,未来类似场景可直接复用。
原始 PR · 作者 WoosukKwon · 合并时间 2026-07-25 07:05
回滚 #48597 的 Blackwell 解码优化,还原大量 NVIDIA DeepSeek V3.2 内核变更
建议阅读原始 PR #48597 以理解回滚的上下文。对于关注 Blackwell 性能的用户,可关注后续更稳定的优化合并。此 PR 本身无深入洞察价值,但可作为回滚操作的参考案例。
原始 PR · 作者 aarushjain29 · 合并时间 2026-07-25 06:19
修复 ROCm 编译测试中 GPU 内存未稳定问题
值得合并。这是一个典型的 ROCm 特定显存稳定问题修复,类似模式在 ROCm 测试中常见。可推广到其他类似场景。
移除硬编码的 GPU 架构环境变量以修复 MoRI 启动崩溃
该 PR 改动简洁、目标明确,建议合并。值得关注的是 MOI 自动检测架构的设计逻辑,避免类似的环境变量覆盖陷阱。
条件化 xfail 标记避免 XPASS 错误
建议快速合入,以修复 ROCm CI 阻塞。
修复 FS KV 卸装层的 O_DIRECT 兼容性和 API 服务器测试的不稳定
该 PR 值得精读,特别是 `probe_o_direct` 的设计模式:在初始化时进行一次探针,而不是在每个 I/O 操作时处理错误,平衡了性能和健壮性。此外,spawn 子进程提取到轻量模块的做法也是处理多进程测试的好范例。
参与讨论