#47679 [KV Offload] Split tiering_lookup_delay into sync/async histograms
原始 PR · 作者 Srinivasoo7 · 合并时间 2026-07-17 01:03
拆分层级查找延迟为同步/异步直方图
值得精读,尤其是同步/异步延迟拆分设计、观察时机的决策(allocation vs finish)如何与调度器生命周期对齐。团队其他成员可参考相同模式在其他模块应用。
A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 Srinivasoo7 · 合并时间 2026-07-17 01:03
拆分层级查找延迟为同步/异步直方图
值得精读,尤其是同步/异步延迟拆分设计、观察时机的决策(allocation vs finish)如何与调度器生命周期对齐。团队其他成员可参考相同模式在其他模块应用。
原始 PR · 作者 music-dino · 合并时间 2026-07-17 00:47
延迟导入 aiter 避免 ROCm HIP 初始化导致 fork/spawn 问题
建议合并此 PR。它修复了明确的 bug,设计决策合理(延迟导入以避免副作用),且通过了 reviewer 的审核。值得其他可能需要避免启动时初始化 GPU 的模块借鉴。
原始 PR · 作者 AndyDai-nv · 合并时间 2026-07-16 22:47
修复 humming 量化跳过层的正则匹配 bug
建议合入。这是一个明确的 bug 修复,有充分的测试覆盖,并已获得批准。值得学习的是处理类似配置格式时的向后兼容性设计。
原始 PR · 作者 samnordmann · 合并时间 2026-07-16 22:21
FlashInfer 一侧 combine 直接写入最终输出
建议精读 `combine_into` 方法的实现,它展示了如何通过运行时探测与向后兼容的方式引入新特性。这是一个良好的设计模式,适用于对外部库功能有版本依赖的场景。审阅者可以关注 `supports_kw` 的可靠性和测试覆盖。
pooling 离线推理新增多线程预处理与 tiling 重叠调度
值得精读。重点看三点:① request_factory + render 的逐请求流式预处理抽象,如何把批处理拆成可并行单元交给线程池;② _run_tiling_engine 的窗口式调度(max_num_seqs * 2)与异常清理逻辑;③ 作者对 _render_and_run_requests 与 tiling 语义差异的分析,这解释了为什么需要做接口破坏性重构。同时可把 conversations 分支死代码、executor.map 无界提交作为后续跟踪项。
升级 cutlass-dsl 4.6.0,删除打包 workaround
值得精读,尤其是理解如何处理上游打包 bug 和回退策略。展示了依赖升级引发的跨仓库(vLLM ↔ flash-attention)协调模式。
启用gfx942 split sparse decode,解码性能提升40%
值得合并。性能提升明显,且风险极低。评审已经通过。建议后续关注是否有其他架构(如gfx940)也能受益,但需单独验证。
NIXL 库版本从 1.3.0 升级到 1.3.1
低风险、常规依赖升级,可快速合并。无需精读。
参与讨论