vllm-project/vllm · 标签视图

修正 Mamba 准入块估算，避免长请求永久卡在等待队列

值得精读，重点不在 diff 规模（源码仅 4 行），而在于三个设计决策：(1) 「上限截断」与「条件覆盖」的语义差异，以及为什么 `min()` 才能同时避免高估导致的准入饥饿和低估计的块池超发；(2) `apply_admission_cap` 从「影响数值」退化为「只影响副作用」，使准入与分配共用同一估算口径；(3) 新增测试把「估算等于实测」写成断言，是排查同类 block accounting 问题的通用模板。建议阅读顺序：先看 PR body 的复现场景与 Stall 描述，再看 `MambaManager.get_num_blocks_to_allocate` 尾部的构造与 `min()`，最后看新测试如何先把请求推进 `_allocated_block_reqs` 再制造 checkpoint 场景。后续可跟进：对 partial hit + checkpoint 组合、`num_prefill_checkpoint_blocks > 1` 与不同 `hash_block_size` 补充参数化覆盖，并在 review 中确认 #53614 是否为确定回归来源。

Kimi-K3 SiTUv2 MoE 默认改用 AITER a4w4 FlyDSL 内核

值得精读。该 PR 是理解 vLLM 与外部 kernel 库（AITER）协作契约的典型案例：环境变量版本兼容（deprecated alias）、模块导入时一次性 env 同步（_sync_aiter_situv2_moe_env）、workaround 作用域收窄，都是可复用的设计手法。建议重点关注 _sync_aiter_situv2_moe_env 的幂等设计与 AITER 优先检查 A8W4 的 dispatch 细节，以及 oracle/mxfp4.py 中权重布局与 kernel 选择的耦合方式。若关注 ROCm 性能演进，可结合 AITER #4463 的 tuned CSV 数据一起阅读。

reasoning 结束判定统一由语法派生，删除多模型 override

值得精读，尤其推荐 parser / structured-output 方向的 owner 逐段读 `ParserEngine.is_reasoning_end` 的新实现与两条新测试。三个最值得关注的设计决策：一是把「无标记尾部」语义显式提为 config 字段而不是继续散落在模型分支里；二是用「从初始状态出发的 `THINK_START` 迁移是否进入 REASONING」来区分惰性 `<think>` 与真正打开 reasoning，这一条同时支撑了 thinking off 的行为修正；三是用 `turn_boundary_tokens` 而非更长的手写分支来限定回合。阅读时请一并记住作者自曝的三处未解决项（`extract_content_ids` 分歧、未声明边界的 latch、gemma4 惰性 `<|tool_response>`），若后续要动这些模型的 `continue_final_message` 或多轮工具调用，应优先补上边界声明与针对性用例。

DeepGEMM pin 迁至 vLLM fork 2.8.0，并更新 Mega MoE 调用约定

值得精读，尤其是维护 MoE 后端、DeepGEMM 集成或 CI 镜像的同学：本案是「小 diff、大范围」依赖迁移的典型样本。 三个值得关注的设计决策：一是用单一 fork pin 取代「按特性挑分支」，把 SM120 / SM90 / SiTU 三个能力收敛到一条可复现的 commit 上；二是只在 DeepGEMM 调用边界做参数别名映射，vLLM 内部配置名与其它后端（TRT-LLM / CuteDSL / AITER）保持不变，避免配置契约外溢；三是 `getattr(..., None)` 这类「静默 None」模式在依赖升级中极易造成功能性静默失败，本 PR 用「规范名 + 旧拼写 fallback」兼容两种 pin，这种双向兼容写法值得复用到其它外部内核绑定。 后续建议：把 SiTU 的 alpha/beta 映射固化为自动化数值回归（现在只有一次性脚本与 GSM8K A/B）；把 cmake / install script / build_deepgemm_C.py 中的 repo、tag、子模块信息收敛成单一来源；与 #56266 / #56255 合流时确认 `elfutils-devel` 与 `deep_jit` 的最终结论一致；持续跟踪 fork 与上游 2.8.x 的分叉成本。

修复 KDA 中段 checkpoint 挤占 prefix cache 淘汰热前缀

值得精读，但重点不在改动规模，而在三处设计取舍： 1. 看 `MambaManager._cache_partial_tail_block` 的必填参数设计——把 retention 策略从隐式状态提升为强制显式契约，是这类“静默退化”问题值得复用的防回归模式； 2. 看短路分支为何要在 `return None` 之前调用 `_maybe_evict_cached_block`——理解“slot 被 checkpoint state 覆盖前必须摘掉旧 hash”这一不变量，以及用私有 API 替代 `evict_blocks` 的取舍； 3. 看 `test_transient_checkpoint_evicts_retained_boundary_hash` 如何把 checkpoint slot 与 shared-prefix 边界块强行重合，这是一个容易被漏掉的交叉场景。 审阅建议：如果所在团队使用 Mamba/KDA 混合模型并配置了 latest-only 保留，建议在本 PR 之后补一轮模型级 hybrid KDA 工作负载的前缀命中率与 ITL 回归；对 `num_tokens` 语义敏感的 chunked prefill / resume 路径，建议额外构造 sibling 复用用例确认例外条件覆盖充分。

修复 ROCm 上 Kimi-K3 预填充崩溃与 GPU-sync 断言

值得快速精读（约 15 分钟），两个设计决策有复用价值：一是 `.to(dtype)` 在 dtype 已匹配时是 no-op 的陷阱，检查张量连续性不能依赖 dtype 转换，应在内核调用边界统一收敛，避免把约束散落到各调用方；二是 `gpu_sync_allowed()` 的“同步点声明”模式，让 GPU -> CPU 的预期同步在调试检查环境下显式豁免、默认路径零开销。局限是未补充单元测试，后续在 `kimi_k3` 或 AITER MLA 路径上改动时，建议顺手补一个针对非连续索引的回归用例。

FlashKDA 内核升级支持 bf16 checkpoint，测试参数化双精度

适合快速浏览而非精读。值得关注的设计决策有两点：一是 vllm 通过"固定 tag 升级外部内核仓库 + 参数化本地测试"的方式引入内核能力，不污染主路径源码；二是测试容差按精度分级（bf16 0.03、fp32 0.01）且 `recurrent_storage` 的 `dtype` 与 `state_dtype` 保持一致，这种双精度对照模式可以复用到其他依赖外部内核的模型验证中。

修复 Hopper 上 Kimi-K3 KDA 投影重叠编译崩溃

值得精读，特别是关注 CUTLASS/CUTE DSL 内核跨架构兼容的工程师。本 PR 展示了三个可借鉴的设计点：用内联汇编实现 PTX 指令的可移植降级（`_fma_f32_bf16_portable`）、用 `cutlass.const_expr` 做编译期内核分支、以及用能力判定函数（`_kda_qkvg_flashinfer_backend`/`_has_mixed_precision_bf16_fma`）把架构差异收敛到单一入口，避免在调用点散落条件判断。