Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-09-16 17:47 同步状态:空闲 下次计划:2026-09-16 18:47
后台正在同步并分析最近 PR,页面会自动刷新并逐步显示最新结果。

PR 列表

更多筛选
2026-07-30
性能优化 重要性 5.68 洞察度 6.00

编译 ReLU² activation 的 forward_native 以提升性能

此 PR 逻辑简单但有效,值得合并。展示了如何利用 torch.compile 优化自定义激活函数,对于其他类似的自定义算子优化有参考价值。

缺陷修复 重要性 7.99 洞察度 6.00

修复 NIXL Mamba 状态块在多槽 block table 下的配对错误

立即合入以修复 K3 等 Mamba 模型的 P/D 正确性问题。建议后续跟进 ZhanqiuHu 的建议,将 Attention 组和 SSM 组的裁剪逻辑统一到公共基类,减少分散的 clipping 点,降低维护成本。同时可考虑在 Mamba 管理器中直接避免分配无用的 scratch 槽。

2026-07-29

#50262 [ROCm][CI] Fix Kimi K3 KDA on ROCm

原始 PR · 作者 stefankoncarevic · 合并时间 2026-07-29 23:47

缺陷修复 重要性 5.03 洞察度 4.00

修复 ROCm 平台 Kimi K3 KDA 测试路径与 FlashKDA 误选

精读,尤其是 `is_flashkda_supported` 的守卫添加方式,可作为跨平台内核选型的参考模式。

性能优化 重要性 7.52 洞察度 5.00

复制 Markov head 权重消除 TP 通信开销

值得精读。本 PR 展示了如何通过复制轻量级 head 权重来消除频繁 TP 通信的典型模式,同时保持了与现有 LogitsProcessor 后处理的兼容。VocabParallelEmbedding 的 disable_tp 参数设计可作为类似优化(如 MoE 路由网络)的参考。Review 中关于 Gemma4 兼容性的及时发现也说明充分回归测试的重要性。

缺陷修复 重要性 8.26 洞察度 6.00

修复异步调度下 num_output_placeholders 下溢崩溃

该 PR 值得精读,尤其是 `PipelinedEngine` 测试模拟器的设计,展示了如何在不依赖 GPU 的情况下验证 PP 下的抢占竞争条件。修复方案中“保留 stale output 但跳过计数器更新”的权衡体现了对 spec decode 正确性的深入理解。

参与讨论