vllm-project/vllm

简化混合模型推测解码中接受令牌计数的逻辑，提升性能与可读性。

该PR值得精读，展示了如何通过简化算法逻辑提升性能。关注点： - 设计决策：基于领域知识（令牌连续性）优化计算，避免过度工程。 - 性能验证：通过详细基准测试（延迟、服务基准、准确性）确保改进有效。 - 可读性提升：注释更新帮助理解新逻辑。

修复Mooncake连接器在TP>0时NVLink传输因线程局部CUDA上下文错误而失败的问题。

该PR值得精读，特别是对于涉及多GPU通信和线程池CUDA上下文管理的开发者。关注点包括：设备捕获时机、线程池初始化器的使用、以及review中关于API选择和性能优化的讨论。

修复NVFP4线性内核在批处理不变模式下缺失仿真后端支持的问题。

该PR值得快速浏览，重点关注环境变量优先级调整的设计决策，以及批处理不变模式下强制使用仿真后端的权衡。对于需要确定性执行的NVFP4量化场景，此修复是关键补丁。

修复LMCache存储元数据计算中前缀缓存命中块重复计数导致的存储不足问题。

该PR值得精读，尤其是`GetStoreMetadata`方法中的注释更新，清晰解释了为何使用`max`而非累加，以及LMCache存储块组对齐导致的边界问题。这是理解vLLM中多级缓存（GPU前缀缓存与LMCache）交互设计的好案例。

在推理解析器中添加模型配置支持，以启用 Cohere 模型的结构化标签输出。

建议技术管理者和工程师精读此 PR，关注如何通过 `model_config` 参数传递模型架构信息，以及设计上如何平衡统一处理与向后兼容。这对于理解 vLLM 推理模块的演进方向和结构化输出支持机制有参考价值。

重构MoE零专家处理逻辑，将ZeroExpertFusedMoE功能移至新框架。

建议精读此PR，关注ZeroExpertRouter的设计（如路由与零专家计算结合）和MoERunnerBase的扩展（_maybe_add_zero_expert_output方法），这些决策体现了模块化架构思想，对理解vLLM的MoE实现和未来重构有重要参考价值。

将GPT OSS Triton MOE内核文件移至experts子目录，统一代码结构。

建议开发者关注此变更以了解代码结构演进，特别是 MoE 相关模块；对于维护者，这是一个良好的代码清理示例，值得学习以保持代码库一致性。

为Mamba模型添加FlashInfer selective_state_update内核支持，提供运行时后端调度。

该PR值得精读，重点关注调度器设计如何平衡灵活性与性能、配置集成的模式选择，以及测试覆盖对稳定性的保障。