vllm-project/vllm

Triton 技能文档补充 JIT warmup 注册提醒

不值得精读，普通内核开发者略过即可。值得留意的是 vLLM 团队将维护者经验以 skill 文档形式注入 agent 工作流的做法——把“新内核必须注册 JIT warmup”这类 review checklist 中的隐性知识，前移到代码生成阶段自动生效，这种经验制度化的模式有参考价值。

MoE 对齐内核协作写并行化，H200 最高 8 倍加速

值得精读。重点关注三个设计点：1) 用模板参数在同一内核里编译出激进与保守两条路径，避免运行时分支开销；2) 用 H200 实测阈值做启动派发，量化「协调开销 vs 并行收益」的工程取舍；3) `size_t` 索引化对超大 batch 的防溢出处理。另外建议阅读评论区 prakharPant 的全 block 方案与 Nsight 数据——它指出了本方案单 block 启动的设备利用率上限，可作为同内核的 follow-up 优化方向；后续若继续优化，建议先跑 `benchmark_batched` 复现再评估。

统一稀疏 MLA 配置至 hf_text_config，修复复合模型初始化失败

值得精读。这是一个典型的“配置读取契约漂移”修复：改动虽小（+32/-22），但确立了 `hf_text_config` 作为复合模型配置归一化入口的规范。重点看三处：一是 `test_sparse_mla_backends.py` 如何通过 `del hf_config.index_topk` 强制 fixtures 走复合路径以预防回归；二是 PR 刻意保留 DeepSeek-v4 特定代码的设计边界；三是 warmup key 生成对 `getattr` 默认值与 `index_kpool` 去重的处理方式。

V2 下 MTP 投机解码打通流水线并行

值得精读。这是 MTP 与 pipeline parallelism 组合的补齐之作，也是典型的「单个功能背后藏着 6 个独立 bug」的案例。重点学习三个设计决策：`SharedTopkIndicesBuffer` 以 property 懒解析替代构造快照，规避 `nn.Module` 遍历与普通对象之间的可见性差异；Qwen3.5 draft head 按输入（`intermediate_tensors is None`）而非 rank 分支；tied 顶层权重在 PP 下必须由 draft 自持加载。对要新增 MTP 模型或改 sparse MLA 后端的工程师，本 PR 是必读样板。

修正 API key 保护范围文档，/inference 并非认证旁路

不建议为这份 PR 精读源码：改动只有 4 行文档，且已被评审方对照 `GUARDED_PREFIX` 验证过，可直接采纳。值得关注的是两点设计/流程问题：(1) 安全文档与鉴权中间件之间的手工同步模式本身就是缺陷源，建议提一个 follow-up，让受保护前缀清单由 `GUARDED_PREFIX` 生成或加一致性测试；(2) 若你正在写 vLLM 的部署/安全文档，建议顺手补齐 “Protected Endpoints” 小节中 `/inference`、`/cohere` 的具体端点，并复核旁路示例清单中的其余路径，避免同一页再次出现内部矛盾。

ROCm 支持 DeepSeek V4 Vision，抽公共包装层并适配视觉路由

值得精读，尤其是正在做多平台模型适配或排查 DeepSeek V4 视觉/稀疏注意力问题的工程师。建议重点关注三处设计决策：(1) `common/vl_model.py` 中"外层 mapper 全量解析 + 子模型 mapper 置空 + `finalizes_weights_during_load` 决定是否排序"的权重加载契约，它同时解决了 NVIDIA 自 finalize 与 ROCm 延迟 finalize 的分歧；(2) `combine_topk_swa_indices` 的 `left_visible`/`right_visible` 窗口代数以及 APC 命中 span 内部时的 clamp，这里是整条图像可见性逻辑最容易被误改的地方；(3) `DeepseekV4MoE` 中 `bias_vl`、`image_sentinel_lo`、`e_score_correction_bias` 三者的分配条件，以及 MTP 必须透传 `input_ids` 的隐含依赖。阅读时建议把 `common/ops/cache_utils.py` 中未修的同类 clamp 缺陷一并记下，作为后续跟踪项。

回滚 KimiK3 DCP 死代码 fallback，恢复 runner 单一事实来源

值得快速阅读，作为一个“删除死代码”的范例：作者没有直接 revert，而是通过逐行路径可达性分析论证 fallback 不可达，并解释保留它的危害（掩盖回归、破坏单一事实来源）。对理解 vLLM 中模型 runner 与 attention layer 之间的数据契约，以及 DCP（decode context parallel）的 `dcp_local_seq_lens` 传递机制有参考价值。

httpx 导入改走 huggingface_hub 再导出，为 2.x 迁移铺路

本 PR 代码层面机械简单，不必逐行精读；但有三点值得关注：一是 `requirements/common.txt` 下限与四份 test 锁的一致性（这是导入改写能否工作的前提）；二是 `vllm/logger.py` 中「双 logger 压制」的写法，作为依赖换名时的通用适配范式可复用；三是 mooncake 连接器的再导出导入，它点出了「等上游 major 迁移时下游如何零成本兼容」的模式。后续建议：1）在 GPU CI 上确认 `tests/v1/kv_connector/unit/test_mooncake_connector.py` 通过；2）按 issue 4802 计划为 huggingface_hub 补 `<3.0` 上界；3）合并后 grep 全仓源码路径，确认生产代码中不再有直接 import httpx（tests/examples 例外）。