修复 Humming WNA4Int/WNA8Int 激活量化调度 bug
值得精读。虽然改动量小,但揭示了 Humming 量化路径中 schema 分发设计的隐蔽 bug,对理解量化配置的工厂方法与继承路由有参考价值。建议在后续 PR 中补充 vllm 内的单元测试,覆盖 `BaseInputSchema.from_config` 的分发逻辑。
A high-throughput and memory-efficient inference and serving engine for LLMs
修复 Humming WNA4Int/WNA8Int 激活量化调度 bug
值得精读。虽然改动量小,但揭示了 Humming 量化路径中 schema 分发设计的隐蔽 bug,对理解量化配置的工厂方法与继承路由有参考价值。建议在后续 PR 中补充 vllm 内的单元测试,覆盖 `BaseInputSchema.from_config` 的分发逻辑。
原始 PR · 作者 WoosukKwon · 合并时间 2026-07-17 04:27
为 Inkling 模型添加 MTP=1 推测解码支持
建议精读此 PR,了解 vLLM 如何为新模型集成 speculative decoding 支持,尤其是配置覆写、权重共享和融合核函数的设计模式。
原始 PR · 作者 edwinlim0919 · 合并时间 2026-07-17 04:02
修复 MoRIIO RDMA 发送队列满时重试读请求
值得精读,尤其关注瞬态错误重试策略和 ACK 缓冲机制的设计权衡。`_is_sq_full_status` 的实现依赖字符串匹配,建议未来考虑更健壮的检测方式(如 mori 库的错误码)。
修复 Helion kernel 测试输入中 scale_ub 退化问题
建议合并。这是一次小但有意义的测试修复,消除了测试中的 false positive,使后续 Helion kernel 的测试更加可靠。
修复 Quark MXFP4 模型 MTP 加载时权重形状不匹配
建议合并,修复了明确的加载错误。设计简洁,逻辑集中在 should_ignore_layer 中。后续建议增加单元测试覆盖 check_children 分支,并考虑在 exclude 配置中支持正则以更通用地解决此类问题。
原始 PR · 作者 WoosukKwon · 合并时间 2026-07-17 02:26
为 Inkling 模型在 Hopper 上添加 FA4 score_mod 相对注意力路由
值得精读,尤其是 `_get_score_mod` 中通过 `cutlass.cute.jit` 在 score_mod 内实现相对偏置的设计模式,以及如何通过单一入口函数根据架构路由到不同 FA4 后端。这种模式可复用于其他模型的多架构适配。
原始 PR · 作者 yewentao256 · 合并时间 2026-07-17 02:22
将 flash_linear_attention 模块移至 third_party 目录
该 PR 是典型的模块级重构,设计决策简单,适合作为代码组织和依赖管理的参考案例。可关注 setup.py 中第三方包注册方式,为后续类似移动提供模板。
原始 PR · 作者 WoosukKwon · 合并时间 2026-07-17 01:28
为 Inkling 模型添加分段 CUDA 图支持
建议相关开发者详细阅读 `cudagraph_utils.py` 中 capture 逻辑的变化,理解 breakable 图与完整图在 metadata 管理上的差异。测试函数 `test_piecewise_capture_builds_fresh_metadata_for_both_passes` 展示了关键行为,值得学习。整体设计采用条件分支模式,可复用于未来其他需要 breakable CUDA 图的模型。由于改动涉及 CUDA 图管理核心,合并后建议密切监控相关模型(尤其是 Inkling)的性能和正确性。
参与讨论