非 MoE 模型跳过 bf16 路由 GEMM 预热
值得阅读,展示了通过简单条件判断大幅优化启动性能的典型模式。MoE 相关开发人员可关注其对模型配置属性的依赖。
A high-throughput and memory-efficient inference and serving engine for LLMs
非 MoE 模型跳过 bf16 路由 GEMM 预热
值得阅读,展示了通过简单条件判断大幅优化启动性能的典型模式。MoE 相关开发人员可关注其对模型配置属性的依赖。
原始 PR · 作者 lengrongfu · 合并时间 2026-07-27 20:12
拒绝空 mc_ptr 的 FlashInfer MNNVL workspace
该 PR 修复了关键的空指针解引用 bug,代码简洁、风险低,建议合并。研发人员可关注后续是否需要改进降级策略(如 TRTLLM 性能优化)。
改进 Transformers fx 追踪器,使用 meta tensor 推断形状
该 PR 是 Transformers 后端的核心改进,设计上采用 meta tensor 替换手写规则是一大亮点,建议关注 `fx_utils.py` 中的 `_MetaProxy` 实现和 `fuser.py` 中的多 fuser 错误处理逻辑。
按请求过滤 KV 卸载二级层
该 PR 设计成熟,经过了充分的设计讨论和评审迭代。强烈建议负责 KV 卸载和多层缓存的开发者仔细阅读 `TierMatcher`/`TierFilter` 的匹配逻辑以及 `_parse_tier_filter` 的健壮性处理。对于未来计划引入 locality 动态过滤的团队,该实现提供了良好的扩展基础。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-27 18:11
修复 ROCm Triton dot 精度参数不兼容
值得集成的低风险修复。PR 展示了一种通过平台 API 处理 CUDA/ROCm 差异的良好实践,可推广到其他 Triton 内核。
为 ROCm 启用 Inkling 模型,支持 MXFP4 推理
建议技术管理者仔细审阅该 PR,它展示了 vLLM 如何基于已有基础设施(FusedMoE、AttentionLayerBase)快速适配新架构,以及在保持 NVIDIA 兼容的同时加入 ROCm 优化。开发者应重点关注 InklingMoE 中 MXFP4 权重的加载与门控逻辑,以及 _sconv_add_norm 中 ROCm 特定的集体通信模式,这些设计可在未来类似移植中复用。
跳过 gfx950 上 torchao 在线量化三项测试
该 PR 内容明确,无技术争议,可正常合入。建议在 torchao 0.18.0 正式发布后,尽快升级依赖并移除该 skipif 逻辑。作为临时性测试兼容性修复,无需精读。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-27 17:23
修复 ROCm CI 中 hf-xet 在共享 NFS 上的安全问题
低风险、高收益的 CI 稳定性修复,建议快速合并。
参与讨论