ViT DP 自动回退,TP 不可用时默认数据并行
值得合并。这是一个简洁而实用的改进,提升了多模态模型的易用性。建议后续为其他多模态模型(如 Qwen-VL, LLaVA)也应用类似逻辑,将自动回退机制推广到整个 codebase。
A high-throughput and memory-efficient inference and serving engine for LLMs
ViT DP 自动回退,TP 不可用时默认数据并行
值得合并。这是一个简洁而实用的改进,提升了多模态模型的易用性。建议后续为其他多模态模型(如 Qwen-VL, LLaVA)也应用类似逻辑,将自动回退机制推广到整个 codebase。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-19 04:44
使用 vllm_runner 确保 GPU 内存正确释放
建议合并。该 PR 是典型的 CI 稳定性修复,逻辑清晰风险低,值得学习使用上下文管理器管理引擎生命周期的模式。
原始 PR · 作者 lishunyang12 · 合并时间 2026-07-19 01:29
修复 Qwen 视频 max_pixels 被丢弃的问题
该 PR 值得精读,尤其适用于理解 vLLM 多模态处理器的 `mm_kwargs` 传递与 HF 处理器之间的适配层机制。其设计决策——在 `_call_hf_processor` 内部通过 `ctx.get_merged_mm_kwargs` 统一读取引擎保存的配置,而非修改外部过滤逻辑——值得作为类似问题的修复模式参考。
填充 Messages API 的缓存创建 token 数
推荐精读 `KVCacheManager.estimate_cached_tokens` 和 `PrefillStats.finalize` 的设计,它们展示了如何在避免昂贵全量匹配的前提下近似估计缓存创建 token 数。另外,`scheduler.py` 中 `prefill_stats` 获取时机的选择(在块释放前)值得注意,体现了对资源生命周期的精细管理。
原始 PR · 作者 frida-andersson · 合并时间 2026-07-19 00:39
Cap sparse MLA decode KV-splits with heuristic on ROCm
该 PR 值得阅读,展示了如何通过简单的启发式避免 kernel 过度分割,提升性能。设计思路清晰,实现简洁,适合作为类似性能优化的参考。
迁移三个 entrypoints 测试到 H200 MIG 队列
建议合并。变更简单、经过验证,属于常规 CI 基础设施优化。可以快速通过,无需深入 code review。
升级 tml-fa4 版本以兼容 cutlass-dsl 4.6
建议合并。此 PR 是必要的依赖升级,属于常规维护。无需深入 code review,但可关注 inkling 相关测试是否通过。
提取公共权重处理函数,批量移除 44 个模型的 load_weights
此 PR 是一次高质量的重构,值得深入阅读以理解如何通过 `WeightsMapper` 和 `AutoWeightsLoader` 标准化权重加载流程。建议在 Review 时重点关注:1. 各模型的 `hf_to_vllm_mapper` 定义是否完整覆盖所有参数重命名;2. 保留的自定义回调(如 `_slice_sink`)是否正确处理了特殊逻辑;3. 是否有遗漏的模型文件未改造。
参与讨论