vllm-project/vllm · 标签视图

NoPE (256,0,256) 预填改走 dense/masked MHA，TTFT 最多降 8.5%

值得精读，但不必逐行复查 96 行 diff——重点看三个设计决策：(1) 为何 `(256, 0, 256)` 可以复用 `(192, 64, 256)` 的 kernel，以及 `_is_masked_mha_available` 中 `qk_head_dim == 256 and v_head_dim == 256` 时绕过 `get_flash_attn_version(head_size=...)` 的特殊分支；(2) 白名单式后端选择的边界与测试方法，这是 vLLM MLA 后端选择的标准范式；(3) `_concat_k_nope_k_pe` 用别名返回换 134 MB/layer 拷贝的取舍——建议同时确认 `_compute_prefill_context` 只把该 K 作为只读输入传递。若团队计划生产部署，另需注意 FA4 `mask_mod` 的 JIT 预热缺口（首请求约 7 s）和量化 KV 场景无收益这两点；并跟踪 #55385 合入后是否需要回删这里的 7 行重复注册。

KDA 预填切换 FlashKDA，单层提速 1.7-3.8 倍

值得精读。三个可复用的设计点：一是「能力门控 + 逃生舱 + 显式指定时 fail-fast」的后端自动选择模板（`_resolve_kda_prefill_backend`），比直接改默认分支更安全；二是 spec / 非 spec 混合步用 workspace 缓冲 + `non_spec_token_indx` 散射的方案，是在不牺牲投机解码语义（`num_accepted_tokens` 回滚仍走 recurrent kernel）前提下复用 chunk kernel 的通用手法；三是 `ns_out` 直写层输出与合并路径的耦合，读代码时要注意「合并逻辑被简化」的前提条件。若要移植到其他模型，重点关注 workspace 静态上界是否被断言保护、以及是否有对应的自动化测试；对运维同学，如需复现旧数值可用 `additional_config.kda_prefill_backend=triton` 一键回退后做 A/B。

为 GLM-5.3-Flash 模型添加 EPLB（专家并行负载均衡）支持，修复引擎启动崩溃。

该 PR 解决了一个明确的、阻断性的功能缺陷，对于使用 GLM-5.3-Flash 和 EPLB 的用户是必要的修复。建议精读以理解其如何适配 EPLB 到复杂的混合 MoE 架构。重点关注 `vllm/models/glm5next/nvidia/model.py` 中 `load_weights` 方法的重构以及新增的 `set_moe_parameters` / `update_physical_experts_metadata` 方法，它们展示了与 EPLB 集成的关键契约。应留意讨论中关于 `Glm5NextForCausalLM` 的遗留问题，这可能需要在后续 PR 中跟进。

为 GLMGA 视频后端添加采样上限，防止请求驱动的资源耗尽。

此 PR 值得精读。它展示了如何为用户可控参数添加多层防御以防止资源耗尽攻击，模式清晰。但 CodeRabbit 关于中间列表分配的评论指出了一个尚未解决的性能/稳定性问题，值得关注。建议在后续 PR 中重构采样逻辑，直接生成有界索引。

修复 glm5next nvidia 子树因缺少 __init__.py 导致打包遗漏和文档警告。

该 PR 值得快速审阅和合并。它解决了一个影响模型可用性的实际打包缺陷（关键路径变更），同时修复了低风险的文档警告。变更的动机清晰、方案直接、验证充分，且没有涉及复杂的逻辑改动。对于维护 vllm 模型生态的完整性至关重要。

ROCm 修复 GLM-5.2 误入 MRV2，默认关 breakable cudagraph

值得精读，尤其是负责 ROCm / model runner / 配置系统的同学。亮点在于：一是用 frozenset 常量 + `lru_cache` 平台查询函数集中管理平台默认行为，配合 monkeypatch 与 `cache_clear()` 形成低成本测试模式；二是 perf 归因方法学（4 组对照分解 MRV2 与 breakable cudagraph 各自的回退贡献）值得借鉴，避免只靠环境变量 workaround 留下约 23% 的性能缺口。同时应记录 mawong-amd 的跟进建议，在 #53712 合并后复测并考虑是否需要反转部分默认值。

修复非 pinned CPU 张量 H2D 拷贝导致的同步 stall

值得精读。重点看两个设计模式：一是 FlashInfer 中“拷贝前 pin_memory() 快照”如何在 MRV2 无显式同步的约束下同时满足异步与防竞态，替代常驻 pinned 双缓冲；二是 `rot_pos_emb` / `rotary_pos_emb_thw` 通过调整 `get_cos_sin` 调用顺序、直接在 GPU 设备上构造索引张量来彻底消除 H2D。这两个模式可在后续新增推理路径时直接复用。

为 GLM-5 启用 masked MHA prefill，路由表重构为维度驱动

值得精读。核心看点：一是 `_use_sparse_mha` 抽取与维度感知策略表的数据契约设计；二是“策略表只管性能、workspace 管可行性”的双层守卫哲学；三是对 PR #52512 事故的回归修复方式；四是 benchmark 驱动的路由阈值方法论与 32K 以上记录策略。适合负责注意力后端、性能路由或 MLA 相关模块的工程师细读。