vllm-project/vllm

ROCm CI 镜像按内容寻址复用，缓存命中率提升

值得精读，尤其适合维护多阶段 Docker 构建与共享 CI 缓存池的团队。三个设计决策最值得借鉴：1) 用“信任边界 + 内容寻址”区分 canonical 与 preview 缓存写入，在安全与命中率之间取得平衡；2) 用 digest 固定步骤间交接并在关键路径 fail closed，杜绝“以为复用了实际没复用”的隐性错误；3) 按昂贵依赖的变更频率拆分 Dockerfile 阶段（PyTorch 全家桶 / csrc / Rust / Python 依赖），让各阶段缓存独立失效。注意本 PR 无实质 review 讨论，主要审阅信号来自提交历史与 CI 验证结果，合入前建议对照最终 head 提交再做一轮评估。

FlashInfer 升级至 0.6.16.post3，启用分布式同步 autotune

值得精读，尤其是 kernel_warmup.py 中 flashinfer_autotune 的完整实现。其核心设计取舍——从"rank 0 集中广播"转向"全 rank 分布式同步调优"，以及用随机化输入规避 EP 场景同步挂起——是分布式推理初始化阶段的经典案例。建议阅读时关注 set_autotune_process_group 的用法、cache 的读写广播顺序，以及 randomize_inputs 参数在 _dummy_run 中的透传方式。若后续计划升级 FlashInfer，应注意本 PR 对 API 版本的强绑定。

KV offload 支持 chunked local attention，修复 Llama 4 启动崩溃

值得精读。本 PR 是理解 vLLM KV offload 调度器如何为不同注意力架构估算"可达尾部"的理想入口：重点看 get_sliding_window_size_in_chunks() 与 is_store_reachable_swa_chunk() 的配合，以及 cdiv 向上取整背后"宁可多存、不可漏存"的安全方向选择。改动小、审查聚焦，适合作为团队内部学习 KV offload 调度机制的样例。

修复次级 tier 加载失败导致请求永久卡死的 livelock

值得精读。核心看点是：`mark_miss` + enqueue-once 断言如何用最小 API 面（没有为 tier 新增任何回调）修复一类典型的"缓存与真实状态脱节导致 livelock"问题；performance 驱动的设计取舍（用实测 benchmark 数据否决 stat 方案而非凭直觉）；以及边界情形处理（短读 vs 瞬时错误的删除决策、close 失败语义、部分成功上报）。对 KV offload、异步缓存系统或共享存储 I/O 层设计有借鉴意义。

为 Torch 2.13 补丁 stable ABI 字符串内存泄漏修复

该 PR 值得快速审查，因为它是一个针对特定版本问题的临时补丁，逻辑清晰，风险可控。可关注其 CMake 实现中条件检测和 shadow 目录的技巧，这为类似临时补丁提供了可复用模式。建议在 Torch 2.14 升级时确保回滚此补丁。

bitsandbytes 支持迁移至 OOT 插件，核心删除约 1900 行

值得精读，尤其是 linear.py 中 bnb 分支到通用 `shard_indexer` hook 的重构思路，以及删除 800+ 行专有 loader 后如何保持测试覆盖。关注点包括：`adjust_shard_indexes` 的通用性设计、插件注册机制、以及未落实的性能 guard 是否会在后续修复。适合对量化插件化和权重加载架构感兴趣的工程师。

修复离线 LLMEngine 零输出步丢弃 prefix-cache 计数

改动很小，值得花几分钟通读。重点学习点是「计数器由下游每步 drain，但记录有输出门控」这类统计丢失的根因模式，以及评审中对 iteration_stats 构造时机的简化（把 None 判断放到源头而不是调用点）。若团队依赖 prefix-cache 指标，建议后续补一个 zero-output step 的回归测试，防止此类丢失再次引入。

运行时镜像升级 Ubuntu 24.04，rdma-core 升至 50 支持 NCCL GIN

建议构建与发布相关工程师快速过一遍；变更本身机械（版本号升级），但评审中的内核/驱动兼容性调研与文档化处理值得借鉴，属于基础设施升级的标准操作范例。普通业务开发无需深入。