vllm-project/vllm · 标签视图

修复 Qwen3XML 工具解析器在流式输出中空 delta 检测逻辑，避免产生不符合 OpenAI 规范的 delta 消息。

该 PR 代码变更简洁，聚焦于特定 bugfix，适合快速浏览以理解工具解析器流式输出的规范遵循问题。值得关注的设计决策是：在空 delta 检测中未包含 role 字段检查，这可能是一个有意为之的简化，但 reviewer 指出的潜在风险值得在后续开发中留意。

添加DFlash speculators配置解析，支持直接加载speculators训练的DFlash模型。

建议工程师精读`update_dflash`函数以理解配置映射机制，这是扩展speculators支持的关键模式；并关注`qwen3_dflash.py`中的条件初始化策略，这是内存优化的设计决策。测试文件提供了完整的端到端验证示例，值得参考以了解DFlash speculators的正确性测试方法。

扩展ViT全CUDA图支持到Qwen3-VL视频推理，提升多模态编码性能。

建议技术管理者和工程师精读此PR，以理解CUDA图在多模态编码中的扩展设计。重点关注`get_input_modality`方法实现、`max_frames_per_batch`参数处理，以及review中讨论的权衡决策（如缓存移除和命名更改），这些对类似性能优化和协议设计具有借鉴意义。同时，关注后续PR中混合输入支持的演进。

为Qwen3-ASR模型添加LoRA支持，修复音频塔路径并更新文档。

值得精读，尤其关注多模态模型中LoRA集成的设计决策，如音频塔的线性层替换和条件判断修复。

新增Qwen3-VL多模态模型内存泄漏检测测试，提升稳定性验证。

对于关注多模态模型测试或内存管理的工程师，此PR值得精读，以学习如何设计内存泄漏检测测试和权衡阈值设置。重点关注测试逻辑中的内存测量方法和泄漏检测策略。

修复Qwen3.5/Qwen3-Next在序列并行下共享专家权重分片导致的精度问题。

该PR值得快速浏览，重点关注SharedExpert中disable_tp参数的传递逻辑，以及is_sequence_parallel如何与现有并行配置集成。对于从事模型并行或MoE开发的工程师，可学习如何正确处理序列并行下的专家权重分片。建议检查其他MoE模型是否有类似问题。

修复 Qwen3 工具解析器对 Responses API 工具的支持，确保参数类型正确解析。

该 PR 值得精读，因为它展示了如何通过共享工具函数解决 API 兼容性问题，并涉及规范遵循与灵活性的权衡。建议关注 `find_tool_properties` 的设计决策、测试覆盖的讨论以及工具解析模块的统一化趋势。

修复cudagraph_mm_encoder启用时因模块导入路径错误导致的ModuleNotFoundError。

该PR值得快速浏览以了解cudagraph_mm_encoder功能的基础架构。重点关注： 1. encoder_cudagraph相关模块的组织结构。 2. Qwen3-VL模型如何实现SupportsEncoderCudaGraph协议。 3. 导入路径一致性在大型项目中的重要性。