添加 @zyongye 到 CODEOWNERS
简单基础设施变更,无需深入阅读。可关注后续 DeepseekV4 文件的代码评审质量。
A high-throughput and memory-efficient inference and serving engine for LLMs
添加 @zyongye 到 CODEOWNERS
简单基础设施变更,无需深入阅读。可关注后续 DeepseekV4 文件的代码评审质量。
修复 NVFP4 SP 测试 mypy 失败
合并即可,无需深入审阅。但值得关注 #41362 的长期修复方案。
原始 PR · 作者 abdulrahman-cohere · 合并时间 2026-05-10 14:51
取消 ASR 请求时中止引擎内部任务
值得精读。展示了如何在 async 服务中正确传递 CancelledError 并清理资源,同时利用 `merge_async_iterators` 合并多个生成器。对于处理类似音频分割的后端服务具有参考价值。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-05-10 14:50
修复 ROCm NIXL 猜测解码集成测试启动与诊断
该 PR 值得阅读,特别是测试框架中的异步服务就绪检查模式(进程存活与端点探测结合)值得参考。对于分布式测试的时序稳定性和错误诊断有良好示范。建议作者在后续 PR 中考虑 review 中关于异常类型和 IPv6 兼容性的反馈。
原始 PR · 作者 Dao007forever · 合并时间 2026-05-10 13:52
新增提前拒绝通知机制,避免P节点KV块滞留
该PR值得详细审阅,特别是对于参与KV传输模块的工程师。主要看点包括: - 如何通过构造一个`abort_immediately=True`的合成请求来重用现有的`request_finished`钩子,避免了为清理而引入额外IPC。 - 在`_with_kv_transfer_rejection_cleanup`中利用`has_kv_connector`+`do_remote_prefill`双重门控,确保只对启用connector的请求执行通知。 - 对于社区用户,建议确认自定义EngineClient是否需要实现新方法以避免运行时错误。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-05-10 11:47
稳定 ROCm 关闭流程和分布式编译 CI
此 PR 是维护性修复,值得快速合并。对于 ROCm 开发者,建议关注关闭测试中的超时断言是否仍然导致不稳定,并可考虑采纳 `gemini-code-assist[bot]` 的建议加入缓冲。无需深入精读。
修复 DSv4 topk 对未对齐 max-model-len 的数值问题
值得精读:这是一个典型的内存布局假设引发数值问题的小而精修复,展示了在 CUDA kernel 中正确处理 tensor stride 的重要性。
原始 PR · 作者 AbhiOnGithub · 合并时间 2026-05-10 11:08
澄清 Gemma 4 辅助模型须用 MTP 路径
建议精读。该 PR 是处理“文档与实现不一致”的标准范例,值得其他特性维护者参考。
参与讨论