vllm-project/vllm

为FusedMoE层新增全面的单元测试套件，覆盖多种并行策略和量化方案。

该PR值得测试工程师和MoE模块开发者精读，以了解FusedMoE的测试设计、并行配置处理和量化支持。特别关注 `MoETestConfig` 数据类的设计、`_test_loop` 的组织结构以及量化函数重构的逻辑，这些决策对后续测试扩展有参考价值。

为混合注意力+Mamba模型实现异构TP的3-read RDMA卷积状态传输，支持Prefill与Decode引擎TP大小不同。

该PR值得精读，尤其是对于从事分布式推理或Mamba模型优化的工程师。关注设计决策：3-read传输如何利用DS布局避免排列开销、HeteroTPTransferConfig作为单一数据源的处理方式、以及GQA头映射修正对准确性的关键影响。建议结合#37416和#37603理解整体演进脉络。

重构 MoE runner 类结构，分离通用逻辑与 DP chunking 处理。

建议技术管理者和工程师精读此 PR，重点关注： - 设计决策：组合模式在 `ChunkingMoERunner` 中的应用，以及基类提取的策略。 - 性能优化：workspace 缓冲区的共享机制，对 CUDA 图兼容性的影响。 - 后续演进：讨论中提到的待办事项，如 #35949 将移除 `reduce_results` 覆盖。

为PyTorch 2.12+重新启用Inductor预梯度优化通道，修复上游问题。

该PR变更简单直接，无需深入精读。值得关注的是作者提供的详细基准测试和与上游PyTorch问题的关联，可作为依赖版本管理的最佳实践参考。

清理推测解码、注意力内核和Ray执行器中的未使用死代码。

该PR是简单的清理工作，无需精读。对于关注代码质量的工程师，可快速浏览以了解哪些过时代码被移除，特别是MLP speculator中旧版V0方法的清理，反映了推测解码模块的演进。

移除推测解码中GDNAttentionMetadata.build的GPU/CPU同步，提升吞吐和首token延迟。

该PR值得精读，尤其对于关注性能优化和推测解码的工程师。关键设计决策是将掩码移至CPU以利用PyTorch的异步索引支持，这是一个典型的设备放置优化案例。建议关注变更如何保持功能一致性，以及output_size参数的作用。

为 Gemma 4 模型启用快速预填充优化，显著降低首字节延迟并提升吞吐量。

建议技术管理者和工程师精读此 PR，特别是关注 `Gemma4SelfDecoderLayers` 类的设计和快速预填充逻辑的实现。值得注意的设计决策包括条件化编译和 KV 共享元数据的使用，对于类似模型性能优化具有借鉴价值。

修复结构化输出FSM失败时请求挂起的bug，安全中止请求。

建议工程师阅读以了解FSM失败处理的设计决策，特别是resumable字段的重用和状态管理；关注调度器update_from_output方法的变更，这对理解结构化输出错误处理有价值。