vllm-project/vllm

修复 CpuGpuBuffer 在推理模式下不可变导致测试失败

建议快速合并，属于明确的单点修复。可作为 PyTorch inference mode 下 mutable buffer 使用模式的参考案例。

修复 DP 引擎结果仅取首个的 Bug，增加聚合检查

该 PR 值得精读，特别是其系统性地将“只取第一个”的不安全模式改为显式聚合检查，并通过错误类型丰富诊断信息。对于分布式系统中一致性和错误可见性的设计有借鉴意义。建议阅读 `client.rs` 中的 `is_sleeping` 和 `reset_prefix_cache` 实现，以及测试中的 mock 模式。

增量扫描 Gemma4 工具参数，性能提升约 600 倍

值得精读。该 PR 演示了如何通过引入轻量状态机避免重复全解析的经典优化技巧，设计决策清晰（保持框架扫描与完整语法分离），且性能数据令人印象深刻。对于需要使用流式工具解析的开发者有较高参考价值。

添加 hy_v3 工具解析器，支持 HY3 模型工具调用

值得精读。该 PR 展示了如何以最小代价在已有架构下新增工具解析器：复用 ToolSchema 转换和 parse_buffered_event 工具，同时灵活处理非标准类型别名。对后续支持类似 XML 格式模型有参考价值。

CPU AWQ 迁移至 awq_marlin 并支持 W4A8

建议关注 `cpu.py` 中新增的 `_process_gptq_weights_w4a8` 函数，了解 W4A8 权重的重排逻辑。对于维护者，PR 展示了如何通过平台条件扩展重构量化后端。

修复高并发下 MoRI 连接器挂起

建议所有使用 MoRIIO 部署 1P1D 场景的团队尽快合入并验证。推荐精读 `update_connector_output` 和 `_mark_request_done` 的实现，理解如何在不侵入调度器的情况下实现块回收。

移除 DS V4 对 torch.compile 的依赖，改用可中断 CUDA 图

值得精读。本 PR 展示了如何通过手动融合 kernel 和利用 breakable CUDA graph 替换 torch.compile，是 vLLM 编译栈演进的重要一步。特别关注 `fused_mtp_input_rmsnorm.py` 中的 kernel 设计以及 `config.py` 中的自动启用策略。

为 OffloadConnector 添加按 token 数的选择性卸载

值得精读。该 PR 展示了在 vLLM 的 KV 卸载调度器中添加可选参数的最佳实践：参数解析集中在 `RequestOffloadState.__post_init__`，避免散落在调度逻辑中；类型校验严格（要求 `int` 且非负）；明确标记为实验性。对于需要在卸载连接器中添加其他参数的开发者，是很好的参考。