vllm-project/vllm · 标签视图

修复 gumbel_sample 缓存列 stride 错误，避免错位写入

此 PR 值得精读，它展示了一个典型的 stride 计算 bug 的修复过程，并且测试用例设计良好，覆盖了跨步写入隔离和边界拒绝场景。对于理解 Triton kernel 中张量步长处理很有参考价值。建议关注后续是否有更多针对 gumbel_sample 的优化。

回退 Gemma-4 FA4 FP8 内核支持，恢复 FA3 默认路径

值得精读，尤其是 Gemma-4 模型支持、flash-attention 集成和推测解码方向的开发者。可以关注两点：一是回退选择了删除配置感知接口、改用 set_current_vllm_config 上下文对象，这种避免 API 扩散的做法可复用；二是 _copy_target_kv_scales 连同 FP8 KV scale 共享修复一起被移除，说明该问题在 MRV2 阶段被有意搁置。若团队计划重新引入 FA4，建议先建立覆盖 SM90 FP8 KV 与 MTP 的回归测试基线。

新增 NemotronH_Omni_Reasoning_V3 架构支持并启用 MTP 推测解码

值得快速阅读，改动虽小但涉及模型注册和推测解码的关键路径。关注设计：通过简单映射和条件扩展实现新模型支持，体现了 vLLM 对向后兼容的重视。

DSA 模型改为默认走 CUDA 非编译 MRV2 路径

值得精读。这是一个典型的默认路径切换 + 平台分派 PR，建议关注三点：1) `vllm/models/deepseek_v32/__init__.py` 的 CUDA/非 CUDA 导入分派如何与 `registry.py` 解耦并保持类名契约；2) `vllm/config/vllm.py` 中架构集合 + 环境变量自动写入 + `CompilationMode.NONE` 的配置自动决策模式，可作为其他模型默认执行路径的样板；3) capability-gated kernel 与 fallback 的硬件兼容策略。也需注意到其测试主要集中在配置层、真实硬件验证依赖 CI 的代价。

DSV3.2 接入 PCP 分片，fused kernel 物化 K 行，prefill 提升 2.65x

### 阅读建议 值得精读。重点看两处设计决策：一是 `_fused_norm_rope_kernel` 如何用输出指针是否为 None 统一"物化输出"与"直插 cache"两条路径，避免为 PCP 单独维护一份 kernel；二是 `_sparse_indexer_and_attn` 在 PCP 与 DCP 组合下如何完成 K 行汇聚、query all-gather 与 logsum 合并。也建议关注后续是否有 dense MHA 路径 PCP 支持的跟进 PR，以及 PCP+DCP 组合下的数值一致性测试。

Cohere 模型定义修复：RMSNorm、head_dim 与 SWA+1 语义对齐

值得精读，尤其是 SWA 窗口 +1 的语义对齐方式和 TP all-reduce 合并两个设计决策。它展示了如何在 review 压力下收敛 PR 范围、避免设计过度。建议阅读后关注后续 Cohere Eagle 推测解码相关 PR，并结合 single_type_kv_cache_manager.py 核对 +1 的传播路径；若需合入生产，应补充 RMSNorm 与 SWA+1 的回归测试。

fused GDN MTP 内核支持 Qwen 头比例 1/2/3/4/8，提升 MTP 解码吞吐

值得精读。核心看三点：一是如何把运行期整数 ratio 提升为编译期模板参数并保留 10 个特化；二是 host 端用 C++20 templated lambda 消除 dispatch 重复；三是用 config audit 而非拍脑袋决定支持集合，并把“不支持比例回退”显式纳入 guard 测试。对后续内核工作，建议把质量等价性评估（如 GSM8K 等）与性能评估一起纳入 CI 门禁，避免 -1.06 pp 类点估计长期悬而未决。

支持 Kimi-K3 DSpark 推测解码与 DCP 并行组合

值得精读。该 PR 展示了三个可复用设计：① 热路径中把多层共享的 decode 元数据计算收敛到一次并跨层缓存（并在 review 中由维护者进一步下沉到公共基类）；② DCP 下 rank-local slot 的 Triton 换算与 PAD 语义，保证草稿 KV 写入不越界；③ 以能力契约 + 启动期快速失败替代早期硬性配置拒绝，为后续后端扩展留好钩子。若要为其他 MLA 模型开启 DSpark + DCP，直接沿 `_validate_dspark_dcp_support` 与 `supports_non_causal_multi_token_dcp` 两条线扩展即可。