vllm-project/vllm

为NVFP4量化MoE添加FlashInfer CuteDSL批处理专家后端。

该PR值得精读，特别是对于关注MoE性能和量化优化的工程师。值得关注的设计决策包括激活格式的选择（批处理vs标准）和权重布局转换的实现。建议审查新后端的测试覆盖和性能基准。

删除KV缓存量化初始化中的重复变量定义，简化代码。

这是一个非常简单的清理PR，无需深入精读。对于工程师来说，可以快速浏览以了解代码清理的示例；对于技术管理者，可以忽略此PR，除非关注代码质量指标。

统一 mistral_common 依赖版本至 1.11.0，修复导入错误。

该 PR 变更简单直接，无需深入精读。对于工程师，值得关注的是依赖版本管理的最佳实践：确保跨环境（如 common.txt 与测试文件）的依赖版本一致，以避免运行时错误。对于技术管理者，可将其视为常规维护任务，无需额外投入。

为FusedMoE层新增全面的单元测试套件，覆盖多种并行策略和量化方案。

该PR值得测试工程师和MoE模块开发者精读，以了解FusedMoE的测试设计、并行配置处理和量化支持。特别关注 `MoETestConfig` 数据类的设计、`_test_loop` 的组织结构以及量化函数重构的逻辑，这些决策对后续测试扩展有参考价值。

为混合注意力+Mamba模型实现异构TP的3-read RDMA卷积状态传输，支持Prefill与Decode引擎TP大小不同。

该PR值得精读，尤其是对于从事分布式推理或Mamba模型优化的工程师。关注设计决策：3-read传输如何利用DS布局避免排列开销、HeteroTPTransferConfig作为单一数据源的处理方式、以及GQA头映射修正对准确性的关键影响。建议结合#37416和#37603理解整体演进脉络。

拆分DefaultMoERunner为基类和chunking包装器，提升MoE执行路径的模块化。

该PR值得精读，特别是设计决策如组合模式的使用和workspace共享缓冲区。关注ChunkingMoERunner的实现和review中讨论的bug修复。

为PyTorch 2.12+重新启用Inductor预梯度优化通道，修复上游问题。

该PR变更简单直接，无需深入精读。值得关注的是作者提供的详细基准测试和与上游PyTorch问题的关联，可作为依赖版本管理的最佳实践参考。

清理推测解码、注意力内核和Ray执行器中的未使用死代码。

该PR是简单的清理工作，无需精读。对于关注代码质量的工程师，可快速浏览以了解哪些过时代码被移除，特别是MLP speculator中旧版V0方法的清理，反映了推测解码模块的演进。