修复 V2 ModelRunner 中 Mamba2 非投机解码崩溃
值得合并的快速 Bug 修复,逻辑清晰且风险低。对于关注 V2 ModelRunner 稳定性或 Mamba2 模型的团队,建议了解此修复。
A high-throughput and memory-efficient inference and serving engine for LLMs
修复 V2 ModelRunner 中 Mamba2 非投机解码崩溃
值得合并的快速 Bug 修复,逻辑清晰且风险低。对于关注 V2 ModelRunner 稳定性或 Mamba2 模型的团队,建议了解此修复。
原始 PR · 作者 yewentao256 · 合并时间 2026-07-02 18:48
默认对所有密集模型启用 V2 Model Runner
此 PR 设计清晰,增量迁移方式值得借鉴。建议读者关注 `_is_default_v2_model_runner_model` 中的决策树,以及测试中对 V1/V2 差异的抽象。推荐精读。
ROCm 切换到 stable ABI,清理 fallback 代码
值得精读,特别是关注跨后端 ABI 兼容性管理的读者。展示了在依赖升级后如何系统性地消除技术债务。
更新 DeepGEMM 提交引用以支持 SM120
值得合入——这是一个必要的修复,解决 SM120 GPU 上的阻塞性崩溃。建议阅读以了解如何通过更新外部依赖提交引用修复兼容性问题。
Rust 前端引擎输出和结构化输出改用枚举域类型
推荐阅读此 PR 以了解 'enum-backed domain type' 设计模式——一种在 Rust 中实现类型安全且向后兼容的多协议负载处理的典型方法。关键设计决策包括:私有 Wire 类型与公共域类型分离、自定义 ser/de 委托、`EnumAsInner` 简化模式匹配。此模式在构建复用外部协议输入的 Rust 接口时很有参考价值。
原始 PR · 作者 pranavthakur0-0 · 合并时间 2026-07-02 16:46
Rust 前端新增 profiling 控制路由
该 PR 值得精读,特别是在 Rust 前端中启用条件路由和通过 utility RPC 调用 Python 引擎的实现方式,为后续类似功能提供了标准模式。同时测试覆盖非常全面(4 个场景),值得学习。设计决策(不支持点式语法)体现了对 Rust 前端职责边界的清晰界定。
原始 PR · 作者 chengzheng345 · 合并时间 2026-07-02 16:41
新增 LLaVA-OneVision-2 多模态模型,支持图像与视频输入
值得精读。该 PR 展示了如何在 vLLM 中集成复杂多模态模型,包括视觉塔对齐、视频后端注册、安全敏感路径处理。 review 中关于视频后端设计决策(注册 vs 内嵌)和安全加固的讨论对维护者理解框架边界和应对类似挑战有参考价值。
原始 PR · 作者 wan-danfeng · 合并时间 2026-07-02 16:34
实现异质词汇表间的通用投机解码 (TLI)
建议重点关注 `vocab_mapping.py` 中的核心算法(空间前缀探测、归一化、交集构建),以及 `speculative.py` 中的配置验证逻辑。对于考虑使用异质草稿模型的团队,此 PR 是关键里程碑。推荐精读源码和测试。
参与讨论