修复 Rust 前端零列 logprobs 反序列化 panic
值得合并:修复明确,测试充分,风险低。但建议未来考虑对该解码路径增加 fuzz 测试以覆盖更多畸形载荷。
A high-throughput and memory-efficient inference and serving engine for LLMs
修复 Rust 前端零列 logprobs 反序列化 panic
值得合并:修复明确,测试充分,风险低。但建议未来考虑对该解码路径增加 fuzz 测试以覆盖更多畸形载荷。
修复 BGE-M3 测试中 token 前导空格期望值
建议快速合并以解封 CI,这是对上游变更的被动适配,无设计深度。测试维护者应关注 SentencePiece 行为变化是否稳定,并考虑增加更全面的测试输入覆盖。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-21 11:28
隔离 NIXL 并发引擎内部端口冲突
该 PR 是典型的 CI 稳定性修复,值得快速合并。可后续关注是否按建议将 `VLLM_PORT` 替换为 CLI 参数 `--port` 以统一风格。
MRV2 新增编码器缓存 profiling 防止 OOM
建议关注该 PR 的设计决策:将 processor cache 设为可选参数以避免 profiling 污染,以及 profile 完成后清理临时缓存。该模式适用于类似需要模拟推理但不影响状态的场景。后续建议补充测试验证 profile 结果准确性。
原始 PR · 作者 chaunceyjiang · 合并时间 2026-07-21 11:16
修复 KV offload 中止排队请求时的 assertion 崩溃
该 PR 是一个针对性强的 Bugfix,代码简洁,逻辑清晰。建议精读 `storable_chunks` 方法的改动,理解其在 offloading 调度中的核心作用。值得注意的设计决策是将分配块数检查融入现有方法,而非独立成新函数,避免了调用处的重复校验。
原始 PR · 作者 connorcarpenter15 · 合并时间 2026-07-21 10:54
添加引擎感知的 gRPC 健康报告
建议精读,因为展示了如何在 Rust gRPC 中添加标准健康服务,并与引擎集成,设计决策值得借鉴(使用 watch 通道传递健康状态,与 gRPC 健康服务集成)。
启用 H100 上 FA3 FP8 注意力测试覆盖
值得合入,作为测试覆盖补强和小型 dtype 处理学习点。建议关注后续 CI 运行结果,验证 H200 上的实际通过情况。
原始 PR · 作者 jikunshang · 合并时间 2026-07-21 10:11
更新 XPU Docker 镜像文档
该 PR 为常规文档更新,无需精读,可快速合并。
参与讨论