#44442 [Minor] Remove FlashInfer version check in topk_topp_sampler
原始 PR · 作者 WoosukKwon · 合并时间 2026-06-04 05:06
移除 FlashInfer 版本检查
可以快速合并。这是一个干净的清理 PR,适合作为审查培训的简单案例。
标签列表
聚合结果
原始 PR · 作者 WoosukKwon · 合并时间 2026-06-04 05:06
移除 FlashInfer 版本检查
可以快速合并。这是一个干净的清理 PR,适合作为审查培训的简单案例。
原始 PR · 作者 TheEpicDolphin · 合并时间 2026-06-04 04:32
分离 speculator prefill CUDA graph 的 attention state
强烈建议精读本 PR,尤其是 `cudagraph_utils.py` 中的设计。它清晰地展示了如何处理 CUDA graph capture 中的 lazy initialization 问题,是一种可复用的模式。其他需要实现自定义 `CudaGraphManager` 的开发者应参考此模式。
原始 PR · 作者 yewentao256 · 合并时间 2026-06-04 03:22
融合residual支持到batch-invariant RMS norm
值得精读,特别是关于批处理不变性归一化的设计模式。合并函数并支持可选residual的做法简洁清晰,可作为类似重构的参考。
原始 PR · 作者 lucianommartins · 合并时间 2026-06-04 03:01
新增 Gemma4 Unified 编码器无关多模态模型
值得精读,特别关注子类化父类避免分支的设计模式,以及量化条件处理和嵌入数据类型的讨论。后续需要跟进 PR#44340 的修复并验证音频回归。
修复负值 max_num_scheduled_tokens 绕过验证的 bug
这是一个清晰的低风险修复,值得合并。虽为微小改动,但体现了配置验证一致性的好实践——避免将验证逻辑分散在条件分支中。建议在类似场景(如 `max_num_seqs` 等字段)也应用相同模式。
原始 PR · 作者 MengqingCao · 合并时间 2026-06-04 00:05
引入可插拔 KVCacheSpec 注册机制,支持外部自定义 Spec 和 Manager
此 PR 定义了一个重要的架构扩展点,设计清晰(注册表 + 平台钩子 + per-spec 方法),值得团队精读并作为未来插件系统的参考。特别关注 `KVCacheSpecRegistry` 的 MRO 查找策略、`uniform_type_base_spec` 的分组语义以及 `check_kv_cache_spec_registry` 的防御性设计。对外部平台开发者来说,这是一个必须了解的变更。
原始 PR · 作者 NickLucche · 合并时间 2026-06-04 00:04
CI 测试移除显式 HMA 标记,对齐默认启用
可安全合并。建议后续关注 HMA 功能演进,确保 CI 持续对齐。
引入 FlashInfer 采样加速 top-k/top-p 路径
对于关注 V1 模型运行器性能的开发者,该 PR 展示了如何在实际系统中集成第三方采样内核并设计安全的回退条件,值得精读。建议在合并后补充针对新旧路径的测试,确保条件分支无遗漏。