vllm-project/vllm

支持 Kimi K3 NVFP4 检查点加载与推理

值得精读。重点读三处设计：`_compute_g1_scale_c` 对 SITU 激活的折叠语义（非线性在 scale 折叠之前/之后决定了 `g1_scale_c` 的构成）、FP8_PB_WO 在 linear method 内部透明消化输出 padding 的思路、以及 KDA 层对 block scale 在 TP 下复制的启发式判断。这三个决策对后续支持其他 ModelOpt NVFP4 检查点（如 DeepSeek V4 #52447）有直接复用价值。

新增 DFlash2 投机解码架构：局部卷积 + 候选选择器

值得精读，尤其关注四个设计决策：一是 `draft_logits_spec` hook 把 proposal 分布分配契约下沉到 speculator 子类，避免子类与基类重复分配；二是 `gumbel_noised_argmax` 以候选 token 作为噪声 key，配合（seed, position）流定位，保证草稿与验证对同一 distribution 采样；三是 `get_top_k_tokens` 的通信优化，避免全词表 all-gather，通信量降为 O(batch · 2k · tp_size)；四是 `set_model_tag` 隔离编译缓存命名空间的坑。阅读时建议结合 #52883、#53122、#53435 三个后续修复 PR，理解新架构与量化、编译缓存的组合面。

Rust bench 改用 parquet 分片加载 HF 数据集，修复缓存截断少采样

值得精读。核心看点：(1) 用"不可变分片作为缓存单元"从根上消除缓存污染，替代"失败前先怀疑缓存"的思维；(2) 采样语义向 Python 实现对齐的取舍（shard shuffle + 2x 读取），并明确声明对 `num_prompts < split size` 结果的影响；(3) review 反馈闭环的示范——brotli codec 与 config 回退歧义均在后续 commit 中修复而非拒绝。对 vllm-bench 用户：建议升级后重新跑分以获取正确的全量数据基准。

修复 SM89 上 N=1 fp32 批不变矩阵乘因共享内存溢出报错

该 PR 值得精读，适合关注 Triton 内核共享内存优化和批不变性实现的工程师。核心设计决策是：按输出宽度 N 而非批次 M 调整 tile，既修复了 OOR 又保持了批不变性；通过模块级变量与设备能力检查实现自适应配置。实现的细节如 `_fp32_num_stages` 的引入与条件选择逻辑可作为后续扩展参考。

Kimi-K3 新增 GEMM-AR 融合内核，kernel 内完成 all-reduce

值得精读。核心看点：(1) 用 CuTe DSL 的 `llvm.inline_asm` 封装 `multimem.st` 多播存储，把 collective 语义融合进 GEMM 内核的实现手法；(2) 输出 workspace 复用带来的生命周期设计权衡与对应测试锚点；(3) 初始化失败优雅降级（NVLink 缺失时回退普通 GEMM）的容错模式。若后续计划支持非 NVLink 多播环境或消除输出 clone，应在此 PR 基础上迭代。

从 ProcessorInputs 移除文本字段，MM 处理全面改为 token 输入

值得精读。对于关注 vLLM 多模态数据流演进的工程师，建议重点阅读 `vllm/multimodal/processing/processor.py` 的 `__call__` 与 `_apply_hf_processor_text_mm`，以及 `vllm/model_executor/models/transformers/multimodal.py` 的 Legacy/Offsets 两条路径差异；同时值得学习 claude[bot] review 中关于“方法重复定义导致参数静默丢失”“绕过 unpad 破坏 cache 语义”这类重构陷阱的判断方式。MOSS-Audio 的占位符 token 补偿逻辑也是一个很好的边界案例。后续可跟踪作者的下一 PR（transformers>=5.10.4 升级与 token-only dummy data）。

修复 Rust 渲染器对 reasoning_effort=none 的拒绝

值得精读：PR 体量小，但展示了“标准兼容值 vs 模型原生参数”的优先级设计，以及 review 驱动下依据官方 tokenizer 源码修正 fallback 行为的过程。对关注 Rust 前端与 Python 前端一致性工作的读者有参考价值。

SM90 启用 DSv4 自适应验证，解码改扁平化元数据

值得精读。虽然只有 28 行改动，但它展示了一个典型的硬件能力分层决策：SM100 走原生 varlen、SM90 走 device 扁平化、单请求走 uniform 特判，并用 `_use_flattening` 统一入口。对从事投机解码、attention 后端与 CUDA graph 相关工作的人尤其有参考价值。阅读时可重点关注 `_prepare_decode_tensors` 中 adaptive 分支与 uniform 分支的切换条件，以及 PR body 里的性能剖析方法（profiler 对比 + 元数据耗时拆解）。