vllm-project/vllm

CUDA 构建移除 Ubuntu 分支，统一改用 manylinux 镜像

值得发布工程与基础设施负责人精读 docker/Dockerfile 的 base 阶段：以 glibc floor 对齐 PyTorch 官方 wheel 作为构建基线决策是清晰的工程原则，单一构建路径消减双分支维护的收益明显。普通模型与推理工程师可略过。关注点：无自动化兼容性测试时如何用真实 release build 把关，以及 dnf 环境与 Ubuntu 环境的软件版本差异对 C++ 扩展编译的潜在影响。

KV Offload 配置化加载外部次级缓存层

这个 PR 改动量小但设计完整，值得快速精读 `SecondaryTierFactory` 的实现和测试写法。它展示了 vLLM 中“注册表 + 配置驱动动态导入”的可扩展性模板，以及 review 过程中把“重复警告”这类小细节打磨到三处工厂一致的过程。对计划在 vLLM 之上构建 KV 卸载或存储后端的团队尤其有参考价值。

新增 Ling 3.0 Flash BF16 模型与 MTP 推测解码支持

值得精读，尤其是 KDA custom op 注册与 MTP 权重加载逻辑，可作为后续混合注意力架构模型接入的参考。注意当前测试主要集中在 parser 层，模型端到端测试缺失，如有真实环境可补充验证。

FA4 mm_prefix 范围扫描改 O(1) 查表，QPS 提升约 93%

值得精读。三个设计决策有很强的迁移价值： 1. **把内核内扫描转化为元数据预计算**，并利用『ranges 不重叠』不变式把双向判断简化为只查 query 侧边界，彻底消除 key 侧查找——这是让查找变为 O(1) 的关键，而非简单缓存。 2. **`functools.cache` + 固定函数对象规避 FA4 `hash_callable` 编译 key 抖动**，对 vllm 自研 FA4/CuTe-DSL 内核生态（如 PR #49792 方向）具有直接参考意义。 3. **热路径零分配约束下的持久缓冲设计**（pinned CPU + GPU 双缓冲、`seq_lens_cpu_upper_bound` 的乐观上界技巧），是 CUDA graph 捕获期内存管理的优秀范例。 建议阅读顺序：PR body 的性能数据与问题分析 → `fill_mm_prefix_query_ranges` → `_make_mm_prefix_mask_mod` → 测试文件中的 dense float32 参考实现。

offloading 支持按 prefix 粒度复用部分物理块，提升混合模型缓存命中率

值得精读，尤其是 `_lookup` 的反向扫描简化设计与 `_build_partial_tail_store_jobs` 的 CoW 手递模式——它们展示了『在既有完整块命中之上追加小段逻辑』的演进思路，比初版独立计划结构简洁得多。review 中 orozery 与 Change72 的讨论也很有学习价值：前者关于如何避免过度设计，后者关于事件系统与缓存新路径的一致性。建议关注后续是否有 KV Events self-describing 支持及限制放宽的 follow-up PR。

修复 MiniMax-M3 NVFP4 推理乱码，补齐 SwiGLU-OAI 参数传递

建议精读 `flashinfer_cutlass_moe.py` 的 `_per_expert` 重构与测试中的 monkeypatch 捕获模式，它们展示了如何在不改内核的前提下修复参数传递类正确性 bug。对于 MoE 量化适配的维护者，可进一步考虑把同一解析规则推广到 Marlin 等其他后端，并补充非 Swiglu 激活的映射回归测试。

修复 Marlin FP8 下 MLA 激活被误转 int32 的 prefill 崩溃

建议对 MLA + 量化组合（Marlin FP8、NVFP4、原生 FP8、非 FP8）有维护需求的工程师精读本 PR。值得关注的决策：将 dtype 推导收敛为纯函数并以 params_dtype 作为计算 dtype 的权威来源，避免 weight.dtype 的存储格式语义泄漏到计算路径；该模式可推广到其他可能被量化后端 repack 权重的层。遗留短板是最终未保留自动化测试，读者可考虑补一个针对 _get_kv_b_proj_input_dtype() 的纯单元测试，覆盖 int32、uint8、fp8 + use_fp8_prefill 组合的分支。

模型加载时一次性解析并复用 Hub revision，减少 HTTP 请求与竞态

值得精读。主要看点在：1）`ResolvedRevision` 的 `str` 子类设计如何在不改动下游签名的情况下同时满足可读性与确定性；2）Hub revision 解析的集中化如何降低 CI 速率限制；3）`local_files_only` 与离线缓存的结合方式。建议读者关注 `vllm/config/model.py` 中解析时机的选取与 fallback 策略。