#45072 [bugfix] skip conch kernel for g_idx reordering
原始 PR · 作者 divakar-amd · 合并时间 2026-06-10 23:04
跳过 conch kernel 处理 g_idx 重排
小而精准的 bugfix,值得合并。对于全量量化模型用户,避免潜在无声错误。
A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 divakar-amd · 合并时间 2026-06-10 23:04
跳过 conch kernel 处理 g_idx 重排
小而精准的 bugfix,值得合并。对于全量量化模型用户,避免潜在无声错误。
为KV缓存次级层添加异步批处理查找
值得精读该PR,尤其是AsyncLookupManager的线程安全模型(无锁通过所有权分离)和cleanup逻辑。可作为vLLM内部异步模式的参考。设计决策中使用SimpleQueue、None作为停止信号、NeedToDrain计数器等细节值得注意。
移除第一代 Qwen 和 QwenVL 模型代码及配套组件
此 PR 清理彻底,值得作为参考模板用于其他旧模型淘汰。建议阅读以理解 vLLM 的模型注册和组件解耦方式。如果用户仍依赖旧模型,不应升级到此版本。
原始 PR · 作者 appleparan · 合并时间 2026-06-10 22:44
修复 EXAONE-4.5 视觉编码器 missing sequence_lengths
建议快速合并,属于典型的数据契约同步修复。可关注类似模式——继承 Qwen2_5_VisionTransformer 的模型(如刚修复的 qwen3_omni_moe_thinker)是否也有遗漏。
新增 tool_call_parser_invocations_total Prometheus 指标
值得阅读 review 中关于指标设计、延迟初始化和低基数标签的讨论,有助于理解 vLLM 中 Prometheus 指标注册的约束与模式。
修复组合权重加载器导致参数丢失的 bug
此 PR 属于关键 bug 修复,逻辑精巧,值得精读。建议关注 `get_numel_loaded` 函数的设计模式(通过 TorchDispatch 拦截 copy_ 来计数),以及如何通过上限截断解决 composed loader 的双重复制问题。新增的测试用例是良好的回归测试范例。
原始 PR · 作者 LopezCastroRoberto · 合并时间 2026-06-10 21:08
修复 DSv3 路由 gemm 的 max batch 启发式逻辑
建议精读该 PR,它展示了一个小而精的性能 hack:根据 GPU 架构动态调整内核选择阈值。设计决策——如将阈值作为实例属性而非全局常量——值得参考,便于后续扩展。同时,该 PR 体现了数据驱动优化(实测微基准)的重要性。
延迟导入 humming 量化后端,避免不必要的导入副作用
值得精读此 PR 的懒加载门面设计,可作为其他可选后端导入优化的参考模式。建议关注其对类型提示的实际影响,必要时可补充类型桩。
参与讨论