标签列表
聚合结果
原始 PR · 作者 chaunceyjiang · 合并时间 2026-05-28 20:06
为 Anthropic API 添加结构化输出和 effort 参数支持
该 PR 可以精读以了解如何扩展 Anthropic API 入口，特别关注 `_handle_output_config` 的转换模式。设计决策方面，注意 `effort` 被放在 `output_config` 内而非顶层，与官方规范略有偏离，但保持了内部一致性。测试用例提供了良好的参考。
原始 PR · 作者 rishitdholakia13 · 合并时间 2026-05-20 22:08
修复结构化标签与推测解码导致的不受限生成
建议精读此 PR，尤其是 `should_advance` 方法中的条件判断逻辑，以及注释中对于为什么结构性标签是唯一安全例外的解释。这是一个典型的边界条件修复，展示了多特性交互时可能出现的微妙问题。同时建议关注后续的 JSON/regex 类似问题的修复。
原始 PR · 作者 viktorpusTT · 合并时间 2026-05-16 08:44
结构化基准测试新增随机前缀选项
此 PR 值得仔细阅读，尤其关注 review 中未解决的 prompt_len 一致性问题。建议在后续 PR 中修复 decode 参数和长度计算，确保基准测试数据准确。
原始 PR · 作者 ricky-chaoju · 合并时间 2026-05-15 08:35
升级 llguidance 依赖版本至 1.7
该 PR 是标准的依赖版本升级，技术含量低但影响面明确。建议相关团队（如结构化输出、vllm-metal）确认 llguidance 1.7.x 与现有功能的兼容性。**不值得精读**，但可作为依赖管理流程的参考。
传递 reasoning parser kwargs 至结构化输出引擎
该 PR 值得精读，特别是 `_get_reasoner` 方法和 request-scoped 设计的引入过程。讨论中 chaunceyjiang 对 DeepSeek 与 Qwen3 设计差异的分析具有参考价值。建议关注 gemini-code-assist 指出的类型注解问题，并在后续提交中修复。
原始 PR · 作者 rishitdholakia13 · 合并时间 2026-04-15 04:29
在推理解析器中添加模型配置支持，以启用 Cohere 模型的结构化标签输出。
建议技术管理者和工程师精读此 PR，关注如何通过 `model_config` 参数传递模型架构信息，以及设计上如何平衡统一处理与向后兼容。这对于理解 vLLM 推理模块的演进方向和结构化输出支持机制有参考价值。
修复结构化输出FSM失败时请求挂起的bug，安全中止请求。
建议工程师阅读以了解FSM失败处理的设计决策，特别是resumable字段的重用和状态管理；关注调度器update_from_output方法的变更，这对理解结构化输出错误处理有价值。
原始 PR · 作者 juliendenize · 合并时间 2026-04-06 22:28
添加Mistral语法工厂支持，启用结构化输出和工具调用的Lark语法生成。
建议精读此PR，特别是vllm/tool_parsers/mistral_tool_parser.py中的adjust_request方法设计和vllm/sampling_params.py中的验证逻辑，以了解如何平衡新特性与向后兼容。关注review中的设计权衡，如兼容性处理和错误消息改进，这对类似功能集成有借鉴意义。