A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 chaunceyjiang · 合并时间 2026-05-06 10:21
增强 Responses API 输入项验证，自动补全缺失字段
值得精读以理解如何在 Pydantic 模型中使用 `model_validator` 预处理复杂联合类型。该 PR 展示了通过前置预处理将裸 dict 转换为结构化的 OpenAI 对象，从而绕过 Pydantic 联合解析限制的桥接模式。
将 B200 CI 作业路由到 Kubernetes 集群
建议 CI 维护者重点关注新运行器上的测试通过率，尤其是需要多 GPU 的作业。同时可考虑采纳 review 评论中的建议，显式声明 `num_devices` 以避免资源分配问题。对于其他后续迁移工作，可参考本 PR 的分批验证策略。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-05-06 09:08
修复 DeepSeek V2-Lite 预取卸载评估脚本默认配置
该 PR 简单且经过充分审查，可以合并。不需要进一步审查。
自动化 Docker Hub 发布镜像流程
建议 DevOps 和 CI 工程师精读此 PR，尤其是 review 中关于 shell 脚本错误处理、竞争条件和依赖管理的讨论。这些模式在自动化发布流程中非常典型，值得借鉴。发布负责人应关注 PyPI 上传问题是否被后续修复。
原始 PR · 作者 MatthewBonanni · 合并时间 2026-05-06 07:22
将 MLA prefill backend 所有权移至 attention layer
值得精读，特别是对于理解 vLLM 中 MLA 注意力层的架构演进和 backend 所有权设计。但需注意其引入的潜在测试缺口。
原始 PR · 作者 Dhruvilbhatt · 合并时间 2026-05-06 07:09
升级 MHCS 依赖版本至 0.1.14
这是一个低风险、高收益的依赖升级，建议合并。
修复推测解码配置中 max_model_len 未正确传递给草稿模型
建议精读。此 PR 体现了配置传递的典型 bug，逻辑清晰，适合学习参数传递的注意事项。
修复 DeepGEMM EP scatter 输出地址 32-bit 溢出
建议合入。该修复精准解决了长序列下 EP scatter 的地址溢出 bug，改动最小且经过本地验证。值得关注的是其设计原则：在保证正确性的前提下，仅扩宽必要的计算路径，避免全局 int64 带来的性能损失。对于使用 DeepGEMM 的 MoE 模型维护者可以精读此 PR。
参与讨论