LoRA 测试触发条件增加 MoE 路径
该 PR 为简单的 CI 配置变更,实现意图明确。建议关注 bot 评论中提到的路径统一性问题,可在后续清理或调整 CI 配置时统一格式。对于 `LoRA %N` 步骤是否也应添加该依赖,可根据实际回归情况决定。
A high-throughput and memory-efficient inference and serving engine for LLMs
LoRA 测试触发条件增加 MoE 路径
该 PR 为简单的 CI 配置变更,实现意图明确。建议关注 bot 评论中提到的路径统一性问题,可在后续清理或调整 CI 配置时统一格式。对于 `LoRA %N` 步骤是否也应添加该依赖,可根据实际回归情况决定。
修复两个文档中的错误相对链接
该 PR 可直接合并,无需深入精读。值得关注的是作者对 CI 失败的正确判断和分离修复策略,可作为文档类 PR 的参考实践。
添加 @zyongye 到 CODEOWNERS
简单基础设施变更,无需深入阅读。可关注后续 DeepseekV4 文件的代码评审质量。
修复 NVFP4 SP 测试 mypy 失败
合并即可,无需深入审阅。但值得关注 #41362 的长期修复方案。
原始 PR · 作者 abdulrahman-cohere · 合并时间 2026-05-10 14:51
取消 ASR 请求时中止引擎内部任务
值得精读。展示了如何在 async 服务中正确传递 CancelledError 并清理资源,同时利用 `merge_async_iterators` 合并多个生成器。对于处理类似音频分割的后端服务具有参考价值。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-05-10 14:50
修复 ROCm NIXL 猜测解码集成测试启动与诊断
该 PR 值得阅读,特别是测试框架中的异步服务就绪检查模式(进程存活与端点探测结合)值得参考。对于分布式测试的时序稳定性和错误诊断有良好示范。建议作者在后续 PR 中考虑 review 中关于异常类型和 IPv6 兼容性的反馈。
原始 PR · 作者 Dao007forever · 合并时间 2026-05-10 13:52
新增提前拒绝通知机制,避免P节点KV块滞留
该PR值得详细审阅,特别是对于参与KV传输模块的工程师。主要看点包括: - 如何通过构造一个`abort_immediately=True`的合成请求来重用现有的`request_finished`钩子,避免了为清理而引入额外IPC。 - 在`_with_kv_transfer_rejection_cleanup`中利用`has_kv_connector`+`do_remote_prefill`双重门控,确保只对启用connector的请求执行通知。 - 对于社区用户,建议确认自定义EngineClient是否需要实现新方法以避免运行时错误。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-05-10 11:47
稳定 ROCm 关闭流程和分布式编译 CI
此 PR 是维护性修复,值得快速合并。对于 ROCm 开发者,建议关注关闭测试中的超时断言是否仍然导致不稳定,并可考虑采纳 `gemini-code-assist[bot]` 的建议加入缓冲。无需深入精读。
参与讨论