Prhub

vllm-project/vllm · 标签视图

标签列表

聚合结果

responses-api 相关 PR

2026-06-03
缺陷修复 重要性 7.85 洞察度 5.00

折叠 developer 角色消息为 system

此 PR 值得阅读,展示了处理 API 角色兼容性的谨慎做法:检测、转换、合并,并选择在共享的 `safe_apply_chat_template` 中实现,而非特定于 Responses API。测试覆盖完整,设计决策中有 trade-off 讨论,适合作为类似兼容性需求的参考模式。

2026-06-02
重构 重要性 7.91 洞察度 6.00

迁移 ResponsesParser 到统一 Parser 接口

该 PR 值得精读,展示了将遗留组件迁移到统一接口的典型模式。重点关注 `ResponsesParser.process()` 的简化和流式处理的缓存设计(未来改进方向)。建议合并后尽快跟进流式问题的 CI 测试。

2026-05-29
缺陷修复 重要性 5.55 洞察度 3.00

Responses API 支持 chat_template_kwargs 传递

修复明确、风险低、影响集中在特定模型配置场景。建议阅读以了解 Responses API 与 chat_template_kwargs 的交互逻辑。无需精读。

2026-05-28

修复 streaming tool-call 序列化器丢弃第一个 args chunk 的 bug

值得阅读,展示了一个高质量的 bugfix 设计:通过引入 `split_delta` 函数将复合 delta 原子化,简化了状态机设计,同时通过分组按 index 保持 name 和 args 的关联。测试覆盖完善。可以学习这种将复杂问题分解的思路。

2026-05-22
缺陷修复 重要性 6.68 洞察度 5.00

修复 logprob_token_ids 使用错误 logits 而非 logprobs

值得阅读以了解 MRV1 sampler 中 logprobs 数据流的正确模式。关注点:gather 操作的输入选择(logits vs logprobs)以及 torch dynamo 优化技巧(mark_unbacked 虽未被采纳但值得借鉴)。

2026-05-19
缺陷修复 重要性 6.47 洞察度 4.00

修复 disagg 服务中 top_logprobs token ID 占位符错误

建议合并。该 PR 修复了一个数据损坏 bug,并补充了必要的单元测试,代码简洁清晰。值得精读的是其修复方式——通过修改循环变量解包避免作用域污染,这种命名冲突导致的问题在实际开发中常见,可作为一个教训案例。

功能 重要性 6.16 洞察度 5.00

为投机解码配置添加 CLI 别名和 LLM 参数

建议精读 `create_speculative_config` 中的合并逻辑,尤其是互斥检查的幂等性保障。同时建议补充测试用例覆盖新别名的 CLI 和 API 使用场景。