vllm-project/vllm

为混合注意力+Mamba模型实现异构TP的3-read RDMA卷积状态传输，支持Prefill与Decode引擎TP大小不同。

该PR值得精读，尤其是对于从事分布式推理或Mamba模型优化的工程师。关注设计决策：3-read传输如何利用DS布局避免排列开销、HeteroTPTransferConfig作为单一数据源的处理方式、以及GQA头映射修正对准确性的关键影响。建议结合#37416和#37603理解整体演进脉络。

拆分DefaultMoERunner为基类和chunking包装器，提升MoE执行路径的模块化。

该PR值得精读，特别是设计决策如组合模式的使用和workspace共享缓冲区。关注ChunkingMoERunner的实现和review中讨论的bug修复。

为PyTorch 2.12+重新启用Inductor预梯度优化通道，修复上游问题。

该PR变更简单直接，无需深入精读。值得关注的是作者提供的详细基准测试和与上游PyTorch问题的关联，可作为依赖版本管理的最佳实践参考。

清理推测解码、注意力内核和Ray执行器中的未使用死代码。

该PR是简单的清理工作，无需精读。对于关注代码质量的工程师，可快速浏览以了解哪些过时代码被移除，特别是MLP speculator中旧版V0方法的清理，反映了推测解码模块的演进。

移除推测解码中GDNAttentionMetadata.build的GPU/CPU同步，提升吞吐和首token延迟。

该PR值得精读，尤其对于关注性能优化和推测解码的工程师。关键设计决策是将掩码移至CPU以利用PyTorch的异步索引支持，这是一个典型的设备放置优化案例。建议关注变更如何保持功能一致性，以及output_size参数的作用。

为 Gemma 4 模型启用快速预填充优化，显著降低首字节延迟并提升吞吐量。

建议技术管理者和工程师精读此 PR，特别是关注 `Gemma4SelfDecoderLayers` 类的设计和快速预填充逻辑的实现。值得注意的设计决策包括条件化编译和 KV 共享元数据的使用，对于类似模型性能优化具有借鉴价值。

修复结构化输出FSM失败时请求挂起的bug，安全中止请求。

建议工程师阅读以了解FSM失败处理的设计决策，特别是resumable字段的重用和状态管理；关注调度器update_from_output方法的变更，这对理解结构化输出错误处理有价值。

添加Mistral语法工厂支持，启用结构化输出和工具调用的Lark语法生成。

建议精读此PR，特别是vllm/tool_parsers/mistral_tool_parser.py中的adjust_request方法设计和vllm/sampling_params.py中的验证逻辑，以了解如何平衡新特性与向后兼容。关注review中的设计权衡，如兼容性处理和错误消息改进，这对类似功能集成有借鉴意义。