vllm-project/vllm

修复文档中 EncoderCudaGraphManager 的引用路径，解决文档构建失败。

这是一个简单的文档修复，无需精读。建议团队在类似重构后及时更新文档引用，以避免构建中断。

为多模态处理器引入助手函数，避免在 token-only 输入时生成虚拟文本。

建议团队精读此 PR，重点关注 `call_hf_processor_mm_only` 的设计决策，以及各模型特定重写（如 pixtral.py 中的 batch 维度处理）的逻辑，以理解多模态输入处理的最佳实践和潜在风险。

修复 Qwen3.5 FP8 在 Blackwell 上 DeepGemm 精度下降

值得精读，尤其关注配置层 `use_deep_gemm` 的三态设计与自动禁用机制的权衡。review 中提出的覆盖失败和虚假日志问题需后续 PR 修复，可作为实践参考。

移除 Arm CI 的软失败标志并添加量化模型测试。

该 PR 值得快速浏览，以了解 CI 配置的变更和 Arm CPU 量化测试的添加。关注点在于测试覆盖的权衡决策，以及如何针对不同后端定制测试。

为InternVL视觉编码器添加torch.compile支持，提升推理性能约4%。

建议工程师精读此PR，了解torch.compile在多模态模型中的集成模式，特别是动态批处理维度的处理和配置序列化的错误恢复机制。对于负责性能优化或多模态开发的团队成员，此PR展示了重要的设计决策和代码简化实践。

修复 benchmark_fused_collective.py 中 FP4 量化操作的参数调用错误。

该 PR 变更较小，但涉及量化操作符的正确调用和代码重构，对于关注性能优化、torch.compile 兼容性或量化技术的工程师值得快速浏览。建议关注 `SCALED_FP4_QUANT_OUT_OP` 的使用方式，以及重构如何简化条件逻辑。

新增批处理聊天完成 API 端点，支持一次性处理多个对话以减少 HTTP 开销。

建议技术管理者和工程师精读此 PR，重点关注： 1. **设计模式**：`OpenAIServingChatBatch` 子类的引入展示了如何在扩展功能时保持代码模块化，值得借鉴用于其他 API 扩展。 2. **验证逻辑**：`BatchChatCompletionRequest` 中的 Pydantic 验证器如何优雅地强制 API 约束，避免运行时错误。 3. **测试策略**：新增的测试文件如何覆盖批处理场景，包括 JSON 架构和正则约束，可作为类似功能的测试模板。 4. **讨论点**：review 中关于效率和正确性的权衡，有助于理解在性能与规范性之间的决策过程。

修复Marlin FP8线性内核在使用压缩张量格式时的权重处理问题。

建议涉及FP8量化和Marlin内核开发的工程师精读此PR，关注权重处理逻辑和形状检查的设计决策，有助于理解压缩张量格式下的维度规范化问题。此外，review中的代码风格优化值得借鉴，提升代码简洁性。