修复 text-only 模型收到多模态数据时返回 500 的问题
此 PR 改动简洁,逻辑清晰,已通过测试验证,适合快速合入。值得关注的点:修复了死代码(`get_mm_processor()` 中针对 text-only 模型的 `ValueError` 守卫),以及 reviewer 建议合并测试的良好协作。
A high-throughput and memory-efficient inference and serving engine for LLMs
修复 text-only 模型收到多模态数据时返回 500 的问题
此 PR 改动简洁,逻辑清晰,已通过测试验证,适合快速合入。值得关注的点:修复了死代码(`get_mm_processor()` 中针对 text-only 模型的 `ValueError` 守卫),以及 reviewer 建议合并测试的良好协作。
新增 Cosmos3 Edge Reasoner 多模态模型
建议阅读该 PR 以了解如何将复杂多模态模型集成到 vLLM 中,特别是: 1. 如何通过继承现有模型(Qwen3-VL、Nemotron-H、SigLIP2)快速实现新模型。 2. 配置类中子配置的组合与字段同步技巧。 3. Checkpoint 加载方式从 `secondary_weights` 到 `allow_patterns_overrides` 的迁移原因和具体做法。 对于计划集成类似多模态模型的开发者,本 PR 提供了很好的参考范例。
原始 PR · 作者 jperezdealgaba · 合并时间 2026-07-14 15:18
修复 lm-format-enforcer 正则编译超时漏洞
建议合并。这是一次轻量但必要的安全补丁,填补了之前安全修复的遗漏,代码简洁且模式成熟。
原始 PR · 作者 LopezCastroRoberto · 合并时间 2026-07-14 14:01
通用cuteDSL BF16路由器GEMM内核,消除形状限制,性能超越cuBLAS
值得精读,特别是内核设计思路(dot-product vs split-K 的分工、cluster DSMEM 归约、warp specialization)和调度集成模式(多层级 GEMM 选择)。对于计划使用 cuteDSL 开发 custom kernel 的团队是很好的参考。建议关注 review 中的安全性讨论(barrier、对齐、类型守卫)以避免类似陷阱。
原始 PR · 作者 vanshbhatia-amd · 合并时间 2026-07-14 13:16
MI355X Mamba SSU fp16配置重调至统一网格
该PR是简单的性能配置调整,逻辑清晰且经过验证,可直接合并。值得关注的点是AMD团队为跨设备统一调优网格的设计思路,以及如何通过修改启动几何参数获得2倍性能提升。
原始 PR · 作者 wangxiyuan · 合并时间 2026-07-14 12:43
清除废弃参数 swap_space 的兼容代码
该 PR 属于常规维护清理,值得快速合并。无需特别审查或测试。
MiniMax-M3 Rust 工具解析器测试跳过防护
值得直接合并。这是一个微小但正确的测试健壮性修复,符合项目已有模式,无任何副作用。可作为同类问题的参考案例。
原始 PR · 作者 tanpinsiang · 合并时间 2026-07-14 12:12
支持MiniMax-M3投机解码的ROCm稀疏PA路径
值得关注其设计模式:通过重用预填充构建器扩展支持投机解码,展示了以最小改动实现功能扩展的范例。对 vLLM 内核开发人员有参考价值,尤其是稀疏注意力后端和投机解码的结合。
参与讨论