vllm-project/vllm

修复Eagle推测解码中CUDA图模式问题，防止FlashInfer后端读取越界元数据。

该PR值得精读，特别是对于关注CUDA图优化和推测解码的工程师。重点关注`init_cudagraph_manager`方法中的模式选择逻辑，以及`_prepare_eagle_inputs_kernel`中的缓冲区填充实现，这些设计决策揭示了CUDA图模式与注意力后端元数据之间的微妙依赖关系。

添加PyTorch nightly构建与测试流水线，支持CUDA 13.0和递归依赖处理。

建议CI维护者关注此PR，特别是构建脚本中的安全问题和参数设计，以及依赖处理的递归变更，这些对于确保nightly测试的稳定性和安全性至关重要。

修复SM121 GPU上FlashInfer CUTLASS MoE因缺少Relu2模板而崩溃的问题。

该PR值得快速浏览，重点关注设备支持检测的设计模式：如何通过精确匹配设备能力（SM120 vs. SM121）来处理上游库的特定版本缺陷。这是一个典型的“降级回退”策略案例，展示了在依赖第三方库时如何保持系统稳定性。

简化混合模型推测解码中接受令牌计数的逻辑，提升性能与可读性。

该PR值得精读，展示了如何通过简化算法逻辑提升性能。关注点： - 设计决策：基于领域知识（令牌连续性）优化计算，避免过度工程。 - 性能验证：通过详细基准测试（延迟、服务基准、准确性）确保改进有效。 - 可读性提升：注释更新帮助理解新逻辑。

修复Mooncake连接器在TP>0时NVLink传输因线程局部CUDA上下文错误而失败的问题。

该PR值得精读，特别是对于涉及多GPU通信和线程池CUDA上下文管理的开发者。关注点包括：设备捕获时机、线程池初始化器的使用、以及review中关于API选择和性能优化的讨论。

修复NVFP4线性内核在批处理不变模式下缺失仿真后端支持的问题。

该PR值得快速浏览，重点关注环境变量优先级调整的设计决策，以及批处理不变模式下强制使用仿真后端的权衡。对于需要确定性执行的NVFP4量化场景，此修复是关键补丁。

修复LMCache存储元数据计算中前缀缓存命中块重复计数导致的存储不足问题。

该PR值得精读，尤其是`GetStoreMetadata`方法中的注释更新，清晰解释了为何使用`max`而非累加，以及LMCache存储块组对齐导致的边界问题。这是理解vLLM中多级缓存（GPU前缀缓存与LMCache）交互设计的好案例。

在推理解析器中添加模型配置支持，以启用 Cohere 模型的结构化标签输出。

建议技术管理者和工程师精读此 PR，关注如何通过 `model_config` 参数传递模型架构信息，以及设计上如何平衡统一处理与向后兼容。这对于理解 vLLM 推理模块的演进方向和结构化输出支持机制有参考价值。