A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 liminfei-amd · 合并时间 2026-07-27 21:24
减少 Triton 内核因 constexpr 导致的重复编译
值得精读，可作为消除 Triton 重编译问题的典型范例。其简洁性（仅修改一行）和清晰的性能收益展示了如何识别并修复 `tl.constexpr` 误用。推荐关注同系列 PR #48734 和 #48736，它们修复了 #48650 中的其他实例。
非 MoE 模型跳过 bf16 路由 GEMM 预热
值得阅读，展示了通过简单条件判断大幅优化启动性能的典型模式。MoE 相关开发人员可关注其对模型配置属性的依赖。
原始 PR · 作者 lengrongfu · 合并时间 2026-07-27 20:12
拒绝空 mc_ptr 的 FlashInfer MNNVL workspace
该 PR 修复了关键的空指针解引用 bug，代码简洁、风险低，建议合并。研发人员可关注后续是否需要改进降级策略（如 TRTLLM 性能优化）。
改进 Transformers fx 追踪器，使用 meta tensor 推断形状
该 PR 是 Transformers 后端的核心改进，设计上采用 meta tensor 替换手写规则是一大亮点，建议关注 `fx_utils.py` 中的 `_MetaProxy` 实现和 `fuser.py` 中的多 fuser 错误处理逻辑。
按请求过滤 KV 卸载二级层
该 PR 设计成熟，经过了充分的设计讨论和评审迭代。强烈建议负责 KV 卸载和多层缓存的开发者仔细阅读 `TierMatcher`/`TierFilter` 的匹配逻辑以及 `_parse_tier_filter` 的健壮性处理。对于未来计划引入 locality 动态过滤的团队，该实现提供了良好的扩展基础。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-27 18:11
修复 ROCm Triton dot 精度参数不兼容
值得集成的低风险修复。PR 展示了一种通过平台 API 处理 CUDA/ROCm 差异的良好实践，可推广到其他 Triton 内核。
为 ROCm 启用 Inkling 模型，支持 MXFP4 推理
建议技术管理者仔细审阅该 PR，它展示了 vLLM 如何基于已有基础设施（FusedMoE、AttentionLayerBase）快速适配新架构，以及在保持 NVIDIA 兼容的同时加入 ROCm 优化。开发者应重点关注 InklingMoE 中 MXFP4 权重的加载与门控逻辑，以及 _sconv_add_norm 中 ROCm 特定的集体通信模式，这些设计可在未来类似移植中复用。
跳过 gfx950 上 torchao 在线量化三项测试
该 PR 内容明确，无技术争议，可正常合入。建议在 torchao 0.18.0 正式发布后，尽快升级依赖并移除该 skipif 逻辑。作为临时性测试兼容性修复，无需精读。
参与讨论