Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-09-16 17:47 同步状态:空闲 下次计划:2026-09-16 18:47
后台正在同步并分析最近 PR,页面会自动刷新并逐步显示最新结果。

PR 列表

更多筛选
2026-07-10

#48144 update marlin M size for EP

原始 PR · 作者 gnovack · 合并时间 2026-07-10 07:52

性能优化 重要性 6.06 洞察度 5.00

优化 EP 模式下 Marlin MoE 的 M 维度估算

PR 逻辑清晰、改动精简,属于高质量的小范围性能优化。建议精读,尤其关注 M 值估算公式的设计思路,未来类似场景可复用此模式。

缺陷修复 重要性 6.24 洞察度 5.00

修正 BERT 模型的权重层别名映射

该 PR 展示了处理模型权重加载时的通用模式:通过 `WeightsMapper` 修正前缀并添加 `params_dict` 不在时的跳过逻辑。值得模型加载相关开发者阅读;`deep_gemm_warmup.py` 的修复也对跨平台兼容性有参考价值。

基础设施 重要性 3.46 洞察度 2.00

提升 extract_hidden_states_tp2 测试超时

建议合并。此 PR 是轻量级的 CI 稳定性修复,无副作用。但建议团队关注 Transformers 升级后测试时间增加的根本原因,避免未来类似问题。

缺陷修复 重要性 7.04 洞察度 5.00

修复 ROCm sparse MLA 元数据同步竞态条件

该 PR 值得精读。它展示了一个典型的 CUDA graph replay 下异步操作同步问题的修复模式:在 graph-captured kernel 依赖的异步写入后插入 synchronize。测试用例的设计(使用 mock 验证调用顺序)也是良好实践,适合作为异步同步单元测试的参考。

性能优化 重要性 6.40 洞察度 6.00

MC 前缀查找中延迟 SWA 掩码检查,节省 59% key 构建时间

值得精读,尤其是对分布式前缀缓存和 MoE 稀疏注意力场景感兴趣的同学。该 PR 展示了 profiling 驱动的微观优化思路:在 hot path 上消除每个被掩码 chunk 的不必要分配,实测收益显著。新增测试的设计(用 RecordingBlockHashes 记录访问索引)也是一个可复用的测试模式。

参与讨论