Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-09-16 17:47 同步状态:空闲 下次计划:2026-09-16 18:47

PR 列表

更多筛选
2026-07-14
缺陷修复 重要性 5.64 洞察度 4.00

修复 text-only 模型收到多模态数据时返回 500 的问题

此 PR 改动简洁,逻辑清晰,已通过测试验证,适合快速合入。值得关注的点:修复了死代码(`get_mm_processor()` 中针对 text-only 模型的 `ValueError` 守卫),以及 reviewer 建议合并测试的良好协作。

#48291 Add Cosmos3 Edge Reasoner model

原始 PR · 作者 adsridhar · 合并时间 2026-07-14 16:14

功能 重要性 9.18 洞察度 5.00

新增 Cosmos3 Edge Reasoner 多模态模型

建议阅读该 PR 以了解如何将复杂多模态模型集成到 vLLM 中,特别是: 1. 如何通过继承现有模型(Qwen3-VL、Nemotron-H、SigLIP2)快速实现新模型。 2. 配置类中子配置的组合与字段同步技巧。 3. Checkpoint 加载方式从 `secondary_weights` 到 `allow_patterns_overrides` 的迁移原因和具体做法。 对于计划集成类似多模态模型的开发者,本 PR 提供了很好的参考范例。

功能 重要性 9.36 洞察度 8.00

通用cuteDSL BF16路由器GEMM内核,消除形状限制,性能超越cuBLAS

值得精读,特别是内核设计思路(dot-product vs split-K 的分工、cluster DSMEM 归约、warp specialization)和调度集成模式(多层级 GEMM 选择)。对于计划使用 cuteDSL 开发 custom kernel 的团队是很好的参考。建议关注 review 中的安全性讨论(barrier、对齐、类型守卫)以避免类似陷阱。

性能优化 重要性 4.93 洞察度 3.00

MI355X Mamba SSU fp16配置重调至统一网格

该PR是简单的性能配置调整,逻辑清晰且经过验证,可直接合并。值得关注的点是AMD团队为跨设备统一调优网格的设计思路,以及如何通过修改启动几何参数获得2倍性能提升。

#48549 [Misc] Clean up "swap_space"

原始 PR · 作者 wangxiyuan · 合并时间 2026-07-14 12:43

重构 重要性 5.13 洞察度 2.00

清除废弃参数 swap_space 的兼容代码

该 PR 属于常规维护清理,值得快速合并。无需特别审查或测试。

功能 重要性 6.89 洞察度 5.00

支持MiniMax-M3投机解码的ROCm稀疏PA路径

值得关注其设计模式:通过重用预填充构建器扩展支持投机解码,展示了以最小改动实现功能扩展的范例。对 vLLM 内核开发人员有参考价值,尤其是稀疏注意力后端和投机解码的结合。

参与讨论