vllm-project/vllm

为InternVL视觉编码器添加torch.compile支持，提升推理性能约4%。

建议工程师精读此PR，了解torch.compile在多模态模型中的集成模式，特别是动态批处理维度的处理和配置序列化的错误恢复机制。对于负责性能优化或多模态开发的团队成员，此PR展示了重要的设计决策和代码简化实践。

修复 benchmark_fused_collective.py 中 FP4 量化操作的参数调用错误。

该 PR 变更较小，但涉及量化操作符的正确调用和代码重构，对于关注性能优化、torch.compile 兼容性或量化技术的工程师值得快速浏览。建议关注 `SCALED_FP4_QUANT_OUT_OP` 的使用方式，以及重构如何简化条件逻辑。

新增批处理聊天完成 API 端点，支持一次性处理多个对话以减少 HTTP 开销。

建议技术管理者和工程师精读此 PR，重点关注： 1. **设计模式**：`OpenAIServingChatBatch` 子类的引入展示了如何在扩展功能时保持代码模块化，值得借鉴用于其他 API 扩展。 2. **验证逻辑**：`BatchChatCompletionRequest` 中的 Pydantic 验证器如何优雅地强制 API 约束，避免运行时错误。 3. **测试策略**：新增的测试文件如何覆盖批处理场景，包括 JSON 架构和正则约束，可作为类似功能的测试模板。 4. **讨论点**：review 中关于效率和正确性的权衡，有助于理解在性能与规范性之间的决策过程。

修复Marlin FP8线性内核在使用压缩张量格式时的权重处理问题。

建议涉及FP8量化和Marlin内核开发的工程师精读此PR，关注权重处理逻辑和形状检查的设计决策，有助于理解压缩张量格式下的维度规范化问题。此外，review中的代码风格优化值得借鉴，提升代码简洁性。

将Encoder CUDA graph manager从v1/worker/gpu/目录移动到v1/worker/，避免与model runner v2目录冲突。

此PR值得快速浏览以了解目录结构调整，但无需深入分析复杂设计决策。关注点在于导入路径更新是否完整，建议检查相关文档和测试以确保无遗漏引用。

为工具解析器构造函数添加 tools 参数，支持后续统一输出解析器解耦。

建议工程师精读 vllm/tool_parsers/abstract_tool_parser.py 的变更，了解 Tool 类型定义和构造函数设计；同时关注 review 讨论中的设计决策，如参数封装策略和类型处理，这些对理解整体重构方向和后续 PR 2、3 的演进有帮助。

移除 DeepGEMM 可用性检查，简化 DeepseekV32 索引器的 CUDA 图支持逻辑。

建议工程师精读此 PR，关注 CUDA 图支持逻辑的简化设计，特别是在部署到多样化 GPU 环境时，应验证 DeepGEMM 的可用性以避免性能影响。

使用 `is_cuda_alike()` 辅助方法统一检查 CUDA 和 ROCm 平台，提升代码可维护性。

建议快速浏览此 PR 以了解代码重构模式，但需注意 gemini-code-assist[bot] 提出的正确性建议，这可能揭示潜在的 UVA 内存安全问题，值得在后续代码审查中关注。