A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 yewentao256 · 合并时间 2026-03-23 22:34
修复 vllm/config 模块的 mypy 类型检查错误，提升代码质量。
建议维护 config 模块的工程师精读此 PR，了解类型修正的具体模式，特别是 type ignore 的使用场景和 None 值处理。对于一般开发者，快速浏览以熟悉 mypy 修复策略即可，无需深入分析。
修复 ROCm 平台上睡眠模式无法释放 GPU 内存的问题。
对于从事 ROCm 平台开发或内存管理的工程师，值得精读此 PR，了解针对 ROCm 的内存释放变通方法。关注虚拟地址保持的设计决策，以及 review 中提到的潜在重构点。
修复 LoRA 日志输出中的模块列表错误。
变更简单，主要值得关注 review 讨论中的性能优化建议，可作为代码风格和性能考量的学习案例，无需深入阅读代码逻辑。
原始 PR · 作者 DorBernsohn · 合并时间 2026-03-23 19:35
修复 CPU 后端在零化 KV 缓存块时因 Triton GPU 内核导致的崩溃。
建议工程师快速浏览此 PR，重点关注 CPU 后端如何处理 KV 缓存无效位置，以及如何避免 GPU 内核调用。对于涉及 Triton 与 CPU 集成的开发者，此 PR 展示了简单而有效的设计决策。
原始 PR · 作者 jikunshang · 合并时间 2026-03-23 19:10
将XPU MXFP4 MoE支持重构集成到oracle系统中。
建议工程师精读此PR，以理解MoE oracle的设计和XPU集成模式，特别关注性能权衡和测试覆盖。
修复 responses API 中 arrival_time 记录错误，以准确测量 TTFT。
对于负责性能度量或 API 实现的工程师，建议精读此 PR 以理解 arrival_time 定义的重要性和当前修复。同时，关注 markmc 指出的其他问题，可能需要在后续 PR 中解决。
原始 PR · 作者 jikunshang · 合并时间 2026-03-23 17:47
为FP8权重仅量化（WoQ）添加内核抽象，集成Marlin内核以支持无FP8硬件的GPU。
建议技术管理者和工程师精读此PR，重点关注内核抽象设计决策（如`init_fp8_linear_kernel`的集中化）和Marlin集成方式，这有助于理解vLLM量化栈的演进方向。同时，需注意review中未完全解决的风险点，如块量化兼容性问题。
原始 PR · 作者 wangxiyuan · 合并时间 2026-03-23 16:14
更新.gitignore忽略.python-version文件，避免贡献者本地环境冲突。
此PR变更琐碎，无需精读。对于新贡献者，可作为.gitignore配置的示例参考。
参与讨论