vllm-project/vllm

Dots3 NOTE 运行时优化，吞吐提升约 9.5%

值得精读。该 PR 展示了将自定义 MLA metadata builder 接入 CUDA Graph uniform-batch 的标准模式，以及如何在 MTP 投机解码中融合 embedding 与 RMSNorm。建议关注 `_pad_dense_mlp_weight` 的模块级化与 `replicated_embed` 的传播方式，这两个设计点可复用到其他 NOTE 类模型。

修复模态级 mm_processor_kwargs 不生效与视频/图像预算串扰

值得精读。核心价值在于 `overlay_modality_mm_kwargs` 的接口设计（modality=None 保旧行为、非 Mapping 忽略、scoped 优先于 flat、保留嵌套键）以及“读取侧按模态展开、HF 侧保留嵌套”的双轨策略；对维护多模态模型的工程师有直接参考价值。建议后续为 GLM4 / Eagle 等其他模型按同一模式接入，并在文档中明确 scoped 与 flat 同时出现时的优先级。

content_parts 路径补传 cache_salt，修复前缀缓存键缺失

值得快速浏览而非精读：这是一个典型的『路径一致性』补全修复，展示了在多个等价构建路径间保持参数转发行一致性的维护模式；对关注前端入口与前缀缓存交互的读者有一定参考价值，但无复杂设计决策。

修复 prompt_token_offsets 未随截断同步导致并行数组长度漂移

值得精读，尤其适合关注 API 数据契约与"并行数组一致性"问题的工程师。三个值得学习的点： 1. **把"决策"与"执行"分离的设计**：`_truncation_slice` 将截断的判定逻辑提取为可复用的 slice 工厂，使 `prompt_token_ids` 与 `prompt_token_offsets` 从"各自实现截断"变为"共享同一个决策"。这是一种比"复制一份截断代码"更抗腐化的结构。 2. **PR 的论证方式**：作者对触发条件的可达性推演（`get_encode_kwargs` 为何禁用 tokenizer 截断 → 截断落到 `_token_truncation` → 只有 token ids 被切）非常清晰；在 reviewer 要求 e2e 证据时立即用 CPU-only server 落成测试，是高效的技术沟通范例。 3. **测试断言的设计层次**：单测与 e2e 都不满足于 `len(offsets) == len(token_ids)`，而是进一步验证"保留的是正确一端"（`full_offsets[-keep:]` 与 `offsets[-1][1] == len(prompt)`），能抓住"长度对但内容错"的假修复——这是测试设计的高阶意识。 无需额外行动项；该 PR 已合并且测试覆盖充分。

新增 Qwen3.8-Flash-Next 支持：QSA 稀疏注意力、PLE 与混合 KV 缓存重构

值得精读，尤其是关注以下设计决策：`_get_packed_kv_cache_groups` 的打包分组语义、`QSAIndexer` 的"权重无关"top-k 选择 + MTP `skip_topk` 跨步复用、PLE 的哈希 n-gram 词表布局、以及 `_get_ple_embedding_quant_method` 的量化分发门控（它正是社区 NVFP4 混合量化 checkpoint 加载失败的根源）。对于想理解 vLLM 如何吸收 day-0 大模型并同步演进核心 KV 缓存抽象的人，本 PR 是很好的案例；但注意它同时叠加了大量未完全收敛的平台分支，阅读时建议以 NVIDIA 路径为主线、以 AMD 路径为对照。

修复 pooling 先补位后左截断导致 prompt 全为 pad

值得精读。这是典型的"参数处理顺序即语义"型 bug：单看每个校验器都正确，组合顺序错误却产生静默的纯 pad embedding。值得借鉴的点：1) 用 Transformers 的 pad_truncation 语义作为行为基准；2) 测试用 sentinel id 而非抛异常断言来证明退化值到达消费者；3) 对主修复立即追问"是否存在同构的平行逻辑"，claude[bot] 的补充发现与作者的两个提交展示了如何系统性收口。

Voxtral 模型解锁 CPU 注意力后端

改动极小（+5/-1），5 分钟即可读完，适合作为“如何低成本为已有模型解锁新硬件后端”的范例阅读。值得关注的两个设计点：一是白名单 + subclass 覆盖的后端扩展模式；二是告警条件随白名单同步收窄的细节——避免把“最近启用后端”的反馈提示误发给成熟后端用户。若团队计划在更多硬件上跑语音模型，可参考此 PR 的扩展路径。

Kimi K3 Eagle3 测试 fixture 补全 forward，修复 CI

不值得精读，属于纯测试维护。值得注意的点是 vLLM 测试中"最小 mock"策略与接口契约同步的平衡：模型新增能力接口（如 supports_eagle3）后，手工构造的 fixture 必须与 mixin 实际探测的接口保持一致，否则 CI 会先行暴露不一致。后续若改动 KimiK3 语言模型接口，应同步检查该测试。