vllm-project/vllm · 标签视图

在推理解析器中添加模型配置支持，以启用 Cohere 模型的结构化标签输出。

建议技术管理者和工程师精读此 PR，关注如何通过 `model_config` 参数传递模型架构信息，以及设计上如何平衡统一处理与向后兼容。这对于理解 vLLM 推理模块的演进方向和结构化输出支持机制有参考价值。

修复结构化输出FSM失败时请求挂起的bug，安全中止请求。

建议工程师阅读以了解FSM失败处理的设计决策，特别是resumable字段的重用和状态管理；关注调度器update_from_output方法的变更，这对理解结构化输出错误处理有价值。

添加Mistral语法工厂支持，启用结构化输出和工具调用的Lark语法生成。

建议精读此PR，特别是vllm/tool_parsers/mistral_tool_parser.py中的adjust_request方法设计和vllm/sampling_params.py中的验证逻辑，以了解如何平衡新特性与向后兼容。关注review中的设计权衡，如兼容性处理和错误消息改进，这对类似功能集成有借鉴意义。

通过懒导入 diskcache 修复启动时因 sqlite3/libstdc++ 导入错误导致的崩溃。

该 PR 是一个简单但重要的 bugfix，适合所有开发者快速阅读以了解懒导入模式在避免环境依赖问题中的应用。无需深入分析，但可关注其修复回归问题的设计思路。

修复xgrammar choices错误消息中缺失的f-string前缀，提升错误报告清晰度。

此PR变更简单直接，无需精读，但可作为代码风格检查的示例，提醒开发者注意f-string的使用一致性。对于新接触structured_output模块的工程师，可快速浏览以了解错误处理机制。

重构：将 WAITING_FOR_FSM 重命名为 WAITING_FOR_STRUCTURED_OUTPUT_GRAMMAR，提高代码清晰度。

该 PR 变更简单直接，建议开发者快速浏览以了解 structured-output 模块中状态命名的演进，无需精读；关注点在于代码风格一致性的实践。

修复CPU部署中结构化输出因pin_memory=True导致的崩溃。

对于涉及CPU部署或结构化输出功能的工程师，推荐阅读此PR以理解设备检测和内存优化的最佳实践；对技术管理者，可关注代码审查过程中的设计权衡如何提升代码质量。

新增硬限制思考令牌功能，通过 logits processor 强制结束令牌以控制推理循环。

建议技术管理者和工程师精读此 PR，重点关注 `ThinkingTokenBudgetLogitsProcessor` 的状态管理设计（如 `_state` 字典和增量处理优化）和与配置系统的集成（`ReasoningConfig` 的自动 token IDs 初始化）。这些设计决策展示了如何在保持采样流程的同时实现硬限制，并提供了可扩展的配置接口。