vllm-project/vllm

修复cudagraph_mm_encoder启用时因模块导入路径错误导致的ModuleNotFoundError。

该PR值得快速浏览以了解cudagraph_mm_encoder功能的基础架构。重点关注： 1. encoder_cudagraph相关模块的组织结构。 2. Qwen3-VL模型如何实现SupportsEncoderCudaGraph协议。 3. 导入路径一致性在大型项目中的重要性。

修复Gemma 4流式工具调用中因部分分隔符泄漏导致的JSON解析错误。

该PR值得快速浏览，重点关注`_emit_argument_diff`方法中剥离字符集的扩展逻辑，这是修复的核心；同时可学习如何通过单元测试模拟流式边界情况。对于涉及工具调用或流式处理的开发者，此变更展示了处理部分令牌问题的典型模式。

优化Trtllm fp8 MoE权重布局为Shuffled Weights和BlockMajorK，提升性能。

建议精读此PR，重点关注权重布局优化设计（如BlockMajorK布局选择）和对warmup逻辑的修复，这对理解vLLM中MoE性能调优和兼容性处理有参考价值。

修复MoE模型TP-only配置下6-8%的解码性能回归，恢复多流并行执行共享专家层。

该PR值得精读，尤其是对于关注MoE性能优化的工程师。关键设计决策是“多流重叠优先于外部执行”的条件顺序调整，这反映了在TP-only配置下最大化并行性的优化思路。建议结合#35153理解回归引入的上下文。

修复推测解码中extract_hidden_states对视觉语言模型配置处理的bug。

该PR值得精读，尤其是配置处理的设计决策：关注ExtractHiddenStatesConfig如何平衡扁平化与保留对象结构，以及测试用例如何模拟VLM配置。建议团队在处理嵌套模型配置时参考此模式。

移除 Petit NVFP4 量化支持，清理废弃代码。

该 PR 变更简单机械，主要价值在于代码清理实践，建议工程师快速浏览以了解废弃功能移除的标准流程，无需深究技术细节；但对于负责量化模块或 ROCM 平台的开发者，可关注配置文件更新和依赖移除方式。

回退GemmaRMSNorm的IR重构，修复残差张量dtype不一致导致的测试失败。

建议技术管理者关注此PR，因为它揭示了vLLM IR集成中的设计权衡：在追求性能优化时，必须确保类型安全。工程师应精读layernorm.py的变更，学习如何处理残差张量的dtype转换，并参考review讨论避免类似错误；同时，可对比#38780的原始设计，评估未来是否重新引入IR优化。

将GemmaRMSNorm层迁移到vLLM IR的rms_norm操作，简化实现并统一计算路径。

建议技术管理者关注此PR，它展示了vLLM IR系统的实际应用和dtype处理的设计决策。工程师可精读以学习如何将现有PyTorch操作迁移到IR框架，并注意性能权衡和kernel注册变更。