#46560 [Bugfix][Model Runner V2][Spec Decode] Fix int32 offset overflow in sampler kernels
原始 PR · 作者 jessiewei7 · 合并时间 2026-06-25 02:00
修复 MRV2 采样器 int32 偏移溢出
此 PR 为高价值修复,值得特别关注。展示了在 Triton kernel 中防范 int32 溢出的模式,建议团队学习并纳入编码规范。
A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 jessiewei7 · 合并时间 2026-06-25 02:00
修复 MRV2 采样器 int32 偏移溢出
此 PR 为高价值修复,值得特别关注。展示了在 Triton kernel 中防范 int32 溢出的模式,建议团队学习并纳入编码规范。
扩展 WNA16 量化方案支持 2/3/5/6/7-bit pack-quantized 推理
值得精读,尤其是 pack_factor 改为 Fraction 以及 packed 维度计算的变化。这是 Humming kernel 支持的必要基础,也是量化路由重构的一步。建议关注后续对 Humming kernel 的集成 PR。
原始 PR · 作者 aarushjain29 · 合并时间 2026-06-25 01:25
ROCm 上强制 eager 模式避免 HIP graph 解码异常
该 PR 是典型的临时规避方案,逻辑简单清晰。值得关注的是其根因分析过程展示了如何通过 bisect 定位 HIP graph 回归,以及如何用环境检测实现平台差异化行为。维护者应注意在 ROCm 7.14 后回退。
原始 PR · 作者 LucasWilkinson · 合并时间 2026-06-24 23:55
用 cross-layer 配置开关替换环境变量,控制 packed KV cache
该 PR 是配置清理和统一的良好范例,展示了如何从环境变量迁移到结构化配置对象。对于需要控制 packed KV cache 行为的部署,应关注新开关的设置。值得精读,因为它涉及 KV cache 内存分配的底层路径改动,并包含与 offloading 组件的交互。
修复 ROCm paged attention 内核 OOB 访问
建议合并。这是一个精准的 bugfix,修复根因而非绕行,且经过性能验证。测试扩展有效防止回归。
原始 PR · 作者 yewentao256 · 合并时间 2026-06-24 23:14
修复 core.py 中缩进错误导致的启动失败
建议立即合并,属于阻断性 bugfix。同时建议后续 PR 增加 CI 中 Python 语法检查(如 flake8)以提前捕获类似问题。
原始 PR · 作者 Acaciasama · 合并时间 2026-06-24 23:13
后台线程固定 CPU 内存,启动加速 2 倍
值得精读。该 PR 展示了将阻塞启动操作移至后台线程的典型手法,并精细处理了生命周期与清理顺序,是学习 Python 线程安全与 GPU pinning 管理的好素材。对于维护 KV offload 相关功能的工程师,应仔细阅读 `shutdown()` 中的清理逻辑。
用LookupResult枚举替换模糊的 bool|None 返回值,区分 HIT_PENDING 与 RETRY
建议精读,尤其是 `LookupResult` 枚举的设计和调度器中的 `match/case` 用法。这是一个清晰的类型驱动重构案例,展示了如何用枚举消除隐式语义,适合作为团队内部 API 设计参考。
参与讨论