为 Rust 前端新增 `/version` 端点,引擎报告版本
值得精读。展示了 Rust 前端与 Python 引擎握手协议的演进方式,以及在类型层面强化契约的手法。适合理解 vLLM 前端架构设计。
A high-throughput and memory-efficient inference and serving engine for LLMs
为 Rust 前端新增 `/version` 端点,引擎报告版本
值得精读。展示了 Rust 前端与 Python 引擎握手协议的演进方式,以及在类型层面强化契约的手法。适合理解 vLLM 前端架构设计。
支持 Step-3.7-Flash 多模态 MoE 模型及 MTP 推测解码
该 PR 值得精读,尤其是 Step3p5MTPProposer 中 per-group slot mapping 的实现,是处理多 KV cache group 推测解码的典型模式。配置层中通过 hf_config_override 自动转换模型类型的设计也值得借鉴。建议关注后续对该模型的测试覆盖和性能报告。
启用 BFCL benchmark 的 prefix caching
简单有效的小优化,无需精读。
原始 PR · 作者 harshaljanjani · 合并时间 2026-05-29 05:48
修复 Gemma4 工具消息中多模态占位符丢失问题
建议合并。这是一个明确的 bug 修复,与上游同步,附带充分测试。可关注 Responses API 路径是否能正确传递多模态内容。
修复 ROCm 分布式编译单元测试的多个问题
建议技术管理者关注 PR 中平台差异处理的模式(如动态端口、条件注册),作为跨平台测试的参考;值得精读 `collective_fusion.py` 中的条件注册逻辑。
重构 CI 日志获取脚本输出文件名逻辑
该 PR 为维护性小改进,逻辑简单清晰,无需深入精读。CI 相关开发者可了解变化,确保下游脚本适配新行为(特别是文件名变更和覆盖保护)。
原始 PR · 作者 benchislett · 合并时间 2026-05-29 05:18
DFlash 支持可配置因果注意力
建议快速合入,改动清晰且风险低。设计上使用 property 而非构造函数注入,值得学习。
原始 PR · 作者 WoosukKwon · 合并时间 2026-05-29 05:04
移除 DSv4 中不必要的 torch op 注册
对于关注 DSv4 模型开发的同学,值得阅读此 PR 以了解如何清理 torch.compile 依赖。对于其他模型开发者,可作为简单的重构样例。
参与讨论