#49129 [CI][NIXL] Isolate concurrent engine internal ports
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-21 11:28
隔离 NIXL 并发引擎内部端口冲突
该 PR 是典型的 CI 稳定性修复,值得快速合并。可后续关注是否按建议将 `VLLM_PORT` 替换为 CLI 参数 `--port` 以统一风格。
A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-21 11:28
隔离 NIXL 并发引擎内部端口冲突
该 PR 是典型的 CI 稳定性修复,值得快速合并。可后续关注是否按建议将 `VLLM_PORT` 替换为 CLI 参数 `--port` 以统一风格。
MRV2 新增编码器缓存 profiling 防止 OOM
建议关注该 PR 的设计决策:将 processor cache 设为可选参数以避免 profiling 污染,以及 profile 完成后清理临时缓存。该模式适用于类似需要模拟推理但不影响状态的场景。后续建议补充测试验证 profile 结果准确性。
原始 PR · 作者 chaunceyjiang · 合并时间 2026-07-21 11:16
修复 KV offload 中止排队请求时的 assertion 崩溃
该 PR 是一个针对性强的 Bugfix,代码简洁,逻辑清晰。建议精读 `storable_chunks` 方法的改动,理解其在 offloading 调度中的核心作用。值得注意的设计决策是将分配块数检查融入现有方法,而非独立成新函数,避免了调用处的重复校验。
原始 PR · 作者 connorcarpenter15 · 合并时间 2026-07-21 10:54
添加引擎感知的 gRPC 健康报告
建议精读,因为展示了如何在 Rust gRPC 中添加标准健康服务,并与引擎集成,设计决策值得借鉴(使用 watch 通道传递健康状态,与 gRPC 健康服务集成)。
启用 H100 上 FA3 FP8 注意力测试覆盖
值得合入,作为测试覆盖补强和小型 dtype 处理学习点。建议关注后续 CI 运行结果,验证 H200 上的实际通过情况。
原始 PR · 作者 jikunshang · 合并时间 2026-07-21 10:11
更新 XPU Docker 镜像文档
该 PR 为常规文档更新,无需精读,可快速合并。
原始 PR · 作者 cleonard530 · 合并时间 2026-07-21 09:31
更新QuTLASS CMake集成以支持稳定ABI
建议合入。该PR使QuTLASS扩展成为ABI稳定版本,降低了维护成本。但需确认上游提交已稳定且无其他回归。
原始 PR · 作者 AlejandroParedesLT · 合并时间 2026-07-21 09:30
修复 WSL 平台循环导入导致 import vLLM 失败
此 PR 是紧急 bugfix,修复逻辑简单明确,值得快速合并。测试设计巧妙(伪造 uname 模拟 WSL),可作为类似场景的参考。对于阅读者,核心看点是理解循环导入的触发链。
参与讨论