Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-09-16 17:47 同步状态:空闲 下次计划:2026-09-16 18:47

PR 列表

更多筛选
2026-08-04
缺陷修复 重要性 7.10 洞察度 5.00

修复 MRV2 PP 下 Mamba 标量状态更新的 int32 索引崩溃

值得精读。本 PR 展示了如何用 Triton kernel 绕开 PyTorch op 对索引 dtype 的硬约束,并顺手处理负哨兵条目,是设备端状态更新的一种干净模式;对 MRV2、pipeline-parallel 和混合模型开发者有直接参考价值。

功能 重要性 8.45 洞察度 5.00

GFX120x 启用 AITER 与 FP8 快速路径,MI3xx 行为保持不变

值得精读。重点学习三点:(1) 用「gfx9 CK 伞」与「gfx12 Triton 伞」分离 AITER 能力探测的手法,避免把不存在的内核暴露给新架构;(2) `can_implement()` 在 classmethod 阶段用 tuned 列表做 shape 校验,从而把调度决策前移的设计;(3) tuned shape 集合按架构拆分、避免交叉污染的做法。另建议 follow-up 补充针对 `on_rdna4()` 与 tuned shape 的自动化测试。

缺陷修复 重要性 8.66 洞察度 6.00

恢复 MRV2 多模态 draft 能力检测

值得精读。该 PR 展示了如何用『显式协议 + `TypeIs` 类型守卫』替代运行时试调用探测,把跨模块能力判定收敛到基类 `load_model()`,并借机删除了 Inkling hack;review 中关于反射 vs 显式声明的讨论(NickLucche、DarkLight1337、TQCB、njhill)有实际工程借鉴价值。建议 MRV2 / spec decode 维护者重点 review:1) `supports_mm_inputs` 判定口径的统一;2) Eagle3 等未标记模型的边界行为;3) 后续新增 draft 模型时协议声明的约束。

#50721 [MRV2] Enable routed-experts capture

原始 PR · 作者 aoshen02 · 合并时间 2026-08-04 05:00

功能 重要性 9.00 洞察度 6.00

MRV2 启用专家路由捕获,统一 MRV1 快照逻辑

值得精读。一是看 njhill 主导的"把 RE 专属逻辑封装进 `RoutedExpertsCapturer` 内部"的重构,这是组件边界划分的范例;二是 `get_routed_experts` 的 clone 语义与 `AsyncOutput` 生命周期设计,直接决定异步路径正确性;三是 fail-closed 的 `get_routed_experts_attn_gid` 和越界 `IndexError` 体现了"宁可报错也不静默丢数据"的工程取向。

测试 重要性 4.44 洞察度 3.00

修复 AITER MXFP4 oracle 测试配置与就地修改问题

该 PR 属于测试契约修正,值得快速浏览以理解两个教训:一是测试配置必须与上游转换器/内核的实际契约对齐,二是当被测试代码会就地修改输入张量时,参考计算应先克隆原始数据。实现本身简单,不需要精读。

缺陷修复 重要性 7.12 洞察度 5.00

拒绝空 gRPC stop 字符串,修复解码器 panic 致进程中止

值得精读。核心看点:njhill 关于“第三份拷贝”的评论揭示了校验逻辑分散的坏味道,最终采用“共享校验点 + 底层防御”的分层设计,既保证入口统一又不依赖每个调用方自觉。对于处理外部输入的服务端组件,这种同时在上层校验和底层防 panic 的思路值得借鉴。

重构 重要性 7.38 洞察度 4.00

Mamba 后处理输入改单循环内联,净减 47 行并补单测

值得快速阅读:它是典型的热路径清理型重构,展示了如何通过合并遍历消除重复、用负哨兵验证“不越界”边界,并保留关键不变量断言;对理解 vLLM 中 pinned CPU-GPU buffer 的 staging 模式有参考价值。核心逻辑简单,无需逐行精读。

缺陷修复 重要性 4.89 洞察度 3.00

Gemma3 模型 intermediate_tensors 补默认值,修复 pooling 启动失败

值得快速阅读:单行改动修复了模型签名契约不一致,展示了默认值约定对 compiled forward 绑定路径的重要性;关联 #48290 的 Model Runner V2 迁移脉络,可作为理解 V2 编译绑定的入门案例。

参与讨论