#41266 [Frontend][Bugfix] Abort ASR engine requests on cancellation
原始 PR · 作者 abdulrahman-cohere · 合并时间 2026-05-10 14:51
取消 ASR 请求时中止引擎内部任务
值得精读。展示了如何在 async 服务中正确传递 CancelledError 并清理资源,同时利用 `merge_async_iterators` 合并多个生成器。对于处理类似音频分割的后端服务具有参考价值。
A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 abdulrahman-cohere · 合并时间 2026-05-10 14:51
取消 ASR 请求时中止引擎内部任务
值得精读。展示了如何在 async 服务中正确传递 CancelledError 并清理资源,同时利用 `merge_async_iterators` 合并多个生成器。对于处理类似音频分割的后端服务具有参考价值。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-05-10 14:50
修复 ROCm NIXL 猜测解码集成测试启动与诊断
该 PR 值得阅读,特别是测试框架中的异步服务就绪检查模式(进程存活与端点探测结合)值得参考。对于分布式测试的时序稳定性和错误诊断有良好示范。建议作者在后续 PR 中考虑 review 中关于异常类型和 IPv6 兼容性的反馈。
原始 PR · 作者 Dao007forever · 合并时间 2026-05-10 13:52
新增提前拒绝通知机制,避免P节点KV块滞留
该PR值得详细审阅,特别是对于参与KV传输模块的工程师。主要看点包括: - 如何通过构造一个`abort_immediately=True`的合成请求来重用现有的`request_finished`钩子,避免了为清理而引入额外IPC。 - 在`_with_kv_transfer_rejection_cleanup`中利用`has_kv_connector`+`do_remote_prefill`双重门控,确保只对启用connector的请求执行通知。 - 对于社区用户,建议确认自定义EngineClient是否需要实现新方法以避免运行时错误。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-05-10 11:47
稳定 ROCm 关闭流程和分布式编译 CI
此 PR 是维护性修复,值得快速合并。对于 ROCm 开发者,建议关注关闭测试中的超时断言是否仍然导致不稳定,并可考虑采纳 `gemini-code-assist[bot]` 的建议加入缓冲。无需深入精读。
修复 DSv4 topk 对未对齐 max-model-len 的数值问题
值得精读:这是一个典型的内存布局假设引发数值问题的小而精修复,展示了在 CUDA kernel 中正确处理 tensor stride 的重要性。
原始 PR · 作者 AbhiOnGithub · 合并时间 2026-05-10 11:08
澄清 Gemma 4 辅助模型须用 MTP 路径
建议精读。该 PR 是处理“文档与实现不一致”的标准范例,值得其他特性维护者参考。
KV cache 批量交换使用 ACCESS_ORDER_ANY 提升带宽
值得精读,特别是关于 CUDA DMA ordering 的讨论和细粒度性能优化的实践。设计决策(何时放松 ordering、何时保留)可作为类似场景的参考。
泛化 CLI 可选布尔/字符串参数处理
值得精读。该 PR 虽小,但展示了一个很好的代码去特化(despecialization)模式:将散落的局部处理逻辑统一收拢到基础设施函数中,降低维护成本。对于 CLI 参数类型推断的设计有参考价值。
参与讨论