删除冗余 Triton group quant op,恢复 ROCm FP8 fusion
建议所有 ROCm FP8 用户合并此 PR。对于研究编译融合或量化实现的开发者,值得阅读以理解 op 注册与融合 pass 交互。
A high-throughput and memory-efficient inference and serving engine for LLMs
删除冗余 Triton group quant op,恢复 ROCm FP8 fusion
建议所有 ROCm FP8 用户合并此 PR。对于研究编译融合或量化实现的开发者,值得阅读以理解 op 注册与融合 pass 交互。
修复 SM121 下无内核的构建错误
值得精读,尤其是 CMake 构建系统的开发者。该 PR 展示了如何处理上游工具链的 bug、如何通过优先读取更可靠的元数据(`code=sm_*` 而非 `arch=compute_*`)来规避问题,以及在构建时添加防御性检查避免静默失败。
修复 transformers MLA pad 条件导致 QKV 投影崩溃
建议精读此 PR。它展示了两个独立正确的 PR 合并后产生交互回归的经典场景,以及如何通过严格化条件来修复。是代码审查和跨 PR 依赖分析的好案例。
修复 OBJ 次级 tier 清理时 release_xfer_handle 失败导致作业结果丢失
建议精读 `manager.py` 中的 `_poll_active_transfers` 方法,其异常处理模式(先处理关键资源,再尽力清理次要资源)值得参考。对应回归测试也展示了如何对异步重试逻辑进行精确注入测试。
使紧凑 MLA 行在不同 TP 大小下共享二级缓存路径
建议精读。此 PR 设计将 TP 无关 identity 的职责明确置于 FileMapper,通过单一 discriminator 字段隔离不同 layout,实现简洁清晰。测试覆盖充分,特别是跨 TP 字节级 round-trip 测试。合并后建议监控二级缓存命中率变化。
修复 Quark checkpoint 的 weight 为 list 时 DeepseekV4FP8 加载崩溃
值得快速阅读(改动仅 6 行),核心价值在于对 Union 类型配置的显式 `isinstance` 校验模式:当配置字段可能是 dict/list/None 异构时,先做类型分流再访问属性,避免隐式类型假定。建议后续补一个针对 list 输入的单测,并参考 `fxmarty-amd` 的建议在 fix PR 中说明引入回归的 PR。
回退 ROCm MXFP4 MoE 的 TRITON_UNFUSED 回落
值得重点阅读 select_mxfp4_moe_backend 函数的设计变更,尤其是后端优先级与平台特定回调的取舍。对于 ROCm 量化路径的维护者,该 PR 是必要的基础修正。
原始 PR · 作者 varun-sundar-rabindranath · 合并时间 2026-07-28 11:21
批量 KV 读写操作下沉到 C 层以释放 GIL
值得精读,该 PR 展示了如何将 GIL 敏感的 I/O 操作迁移到 C 层并引入批量处理以提升性能,同时也记录了低并发退化的设计取舍,为后续优化提供了方向。
参与讨论