#49750 [Perf] RMSNorm uncontiguous support, 1.2~3.1x kernel performance improvement
原始 PR · 作者 yewentao256 · 合并时间 2026-07-30 04:45
RMSNorm 内核支持非连续张量,性能提升 1.2-3.1 倍
值得精读。改动虽小但收益显著,且 review 中关于 aliasing 的讨论清晰展示了内核设计中“所有权/semantics”的权衡。可作为性能优化 PR 的典范。
A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 yewentao256 · 合并时间 2026-07-30 04:45
RMSNorm 内核支持非连续张量,性能提升 1.2-3.1 倍
值得精读。改动虽小但收益显著,且 review 中关于 aliasing 的讨论清晰展示了内核设计中“所有权/semantics”的权衡。可作为性能优化 PR 的典范。
原始 PR · 作者 roikoren755 · 合并时间 2026-07-30 02:27
编译 ReLU² activation 的 forward_native 以提升性能
此 PR 逻辑简单但有效,值得合并。展示了如何利用 torch.compile 优化自定义激活函数,对于其他类似的自定义算子优化有参考价值。
原始 PR · 作者 brandonpelfrey · 合并时间 2026-07-30 01:23
新增 pynvvideocodec GPU 视频解码后端文档
此 PR 价值有限,适合快速浏览文档变更,了解新后端的使用方法。
修复 MTP head 量化排除未生效问题
建议合并。这是一个精准的 bugfix,设计简洁,阅读价值高——展示了 vLLM 量化排除机制的依赖细节(prefix 匹配)。
修复 NIXL Mamba 状态块在多槽 block table 下的配对错误
立即合入以修复 K3 等 Mamba 模型的 P/D 正确性问题。建议后续跟进 ZhanqiuHu 的建议,将 Attention 组和 SSM 组的裁剪逻辑统一到公共基类,减少分散的 clipping 点,降低维护成本。同时可考虑在 Mamba 管理器中直接避免分配无用的 scratch 槽。
原始 PR · 作者 stefankoncarevic · 合并时间 2026-07-29 23:47
修复 ROCm 平台 Kimi K3 KDA 测试路径与 FlashKDA 误选
精读,尤其是 `is_flashkda_supported` 的守卫添加方式,可作为跨平台内核选型的参考模式。
复制 Markov head 权重消除 TP 通信开销
值得精读。本 PR 展示了如何通过复制轻量级 head 权重来消除频繁 TP 通信的典型模式,同时保持了与现有 LogitsProcessor 后处理的兼容。VocabParallelEmbedding 的 disable_tp 参数设计可作为类似优化(如 MoE 路由网络)的参考。Review 中关于 Gemma4 兼容性的及时发现也说明充分回归测试的重要性。
修复异步调度下 num_output_placeholders 下溢崩溃
该 PR 值得精读,尤其是 `PipelinedEngine` 测试模拟器的设计,展示了如何在不依赖 GPU 的情况下验证 PP 下的抢占竞争条件。修复方案中“保留 stale output 但跳过计数器更新”的权衡体现了对 spec decode 正确性的深入理解。
参与讨论