#52223 [Bugfix] Reapply 50869
原始 PR · 作者 benchislett · 合并时间 2026-08-14 06:08
重应用 #50869 修复,移除 DSpark 块大小校验
值得快速浏览,作为回归修复案例理解 merge conflict 对旧补丁的破坏方式。重点留意删除的校验与 `dspark_draft_topk` 校验的边界划分;长期建议为 `SpeculativeConfig` 补充针对 DSpark 的配置单测,防止类似回退再次发生。
A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 benchislett · 合并时间 2026-08-14 06:08
重应用 #50869 修复,移除 DSpark 块大小校验
值得快速浏览,作为回归修复案例理解 merge conflict 对旧补丁的破坏方式。重点留意删除的校验与 `dspark_draft_topk` 校验的边界划分;长期建议为 `SpeculativeConfig` 补充针对 DSpark 的配置单测,防止类似回退再次发生。
timed_trace 基准直接传 token ids,修正 prompt 长度偏差
值得精读,尤其适合关注基准工具与 OpenAI API 协议兼容性的开发者。该 PR 展示了如何避免 tokenizer 非幂等导致的长度漂移,以及通过类型注解与后端白名单双保险防止协议误用,是一个小而完整的设计取舍案例。
修复 FlashInfer SM12x 带 sinks 的 prefill
建议结合 #49718 与 #51987 一起精读:本 PR 展示了如何用“平台能力族 + 特性开关 + wrapper 类型分派”在保留性能优化(XQA)的同时修复功能错误,值得作为 FlashInfer 后端针对特定架构做分叉处理的参考案例。关注点在于 wrapper 的 `run` 签名差异与 scale 合并公式,后续扩展 sink 支持时可复用该模式。
修复 SM75 下 Kimi K3 fused MLA 内核导致 wheel 构建失败
值得一读。改动虽小,但展示了用 vllm::_typeConvert<scalar_t>::exists 做编译期特性检测、替代裸 __CUDA_ARCH__ 宏判断的惯用法,对维护跨 CUDA/ROCm 内核的工程师有参考价值。建议合入前确认 ROCm 下 exists 的特化结果,并为 copyChunk8UnitFp8 增加针对不支持类型的编译期断言或回归测试。
原始 PR · 作者 wangxiyuan · 合并时间 2026-08-14 03:25
新增平台接口,消除 KV 缓存绑定中的平台硬编码
该 PR 值得快速阅读,作为平台抽象下沉的示例;对于平台开发者和 vLLM 内部维护者,理解 `Platform` 接口的扩展模式有参考价值。设计决策上,将“是否支持”的判断从调用方移到平台实现,符合开放封闭原则,但建议后续补充文档说明新平台的覆盖要求。
原始 PR · 作者 stefankoncarevic · 合并时间 2026-08-14 02:35
修复 AITER MLA 测试 stub 维度缺失
值得快速浏览而非精读:它演示了『测试 stub 必须跟随生产代码读取属性集合』的维护模式,以及 #51255 类大重构后容易漏改同类测试的教训。后续若再调整 `MLACommonMetadataBuilder` 的读取属性,应全仓搜索 `SimpleNamespace` 形态的层 stub 一并更新。
原始 PR · 作者 fxmarty-amd · 合并时间 2026-08-14 02:12
ROCm 延迟 TileLang 导入,修复 HIP 符号污染
值得精读。设计上展示了如何在不引入 facade 的前提下用装饰器延迟 JIT,以及如何在 import 检测里避免副作用;对后续在 ROCm 上接入其他重依赖库有参考意义。建议关注两个 follow-up:tilelang/TVM 上游符号修复,和 #51162 中 `_has_module` 的全面改造。
修复 Harmony 解析器在 xgrammar 下中止 token 处理
值得精读,尤其是理解 Harmony 解析器与 xgrammar 的集成方式,以及测试如何模拟生产路径。
参与讨论