简化 MRV2 异步输出处理逻辑
建议精读并合入。虽然变更量少,但体现了良好的架构清理思路:将输出类型处理的职责从 model runner 移到 executor 层,符合单一职责原则。值得关注的是 `MultiprocExecutor` 中的 `worker_busy_loop` 控制流优化,展示了如何通过消除冗余分支和提前返回简化异常处理。
A high-throughput and memory-efficient inference and serving engine for LLMs
简化 MRV2 异步输出处理逻辑
建议精读并合入。虽然变更量少,但体现了良好的架构清理思路:将输出类型处理的职责从 model runner 移到 executor 层,符合单一职责原则。值得关注的是 `MultiprocExecutor` 中的 `worker_busy_loop` 控制流优化,展示了如何通过消除冗余分支和提前返回简化异常处理。
原始 PR · 作者 yewentao256 · 合并时间 2026-06-14 03:05
SM90 FP8 GEMM 支持奇数 M,性能提升 180~290%
值得精读。本 PR 展示了如何通过 kernel 模板参数交换(swap_ab)来绕过 cutlass 对 M 维度的对齐限制,是一种通用的性能优化技巧。同时代码清理(移除 padding hack)也值得借鉴。建议关注 C++ kernel 中模板参数对布局的调整方式。
原始 PR · 作者 waynehacking8 · 合并时间 2026-06-14 03:04
拒绝扩散模型的结构化输出请求
值得精读,尤其是理解扩散模型与结构化输出不兼容的根因。设计决策(在 `_validate_structured_outputs` 中提前拦截)简洁合理,可作为类似跨模块兼容性守卫的参考。
修复 docs 构建失败问题
建议快速合并,属于基础设施修复,无需深入审查。
原始 PR · 作者 jperezdealgaba · 合并时间 2026-06-13 18:17
修复 M-RoPE 模型 prompt_embeds 拒绝服务漏洞
建议精读,该 PR 展示了典型的安全修复模式:将硬断言转为优雅处理。代码逻辑清晰,测试覆盖完整,值得作为类似问题的参考。关注点:`_init_mrope_positions` 中的三路分支设计和测试中通过 Mock 和 `object.__new__` 绕过初始化的技巧。
原始 PR · 作者 jperezdealgaba · 合并时间 2026-06-13 17:52
为正则编译添加超时防护,防止 ReDoS 攻击
该 PR 修复了安全漏洞,实现经过多轮 review,生命周期管理正确,测试覆盖完整,建议合并。值得关注的设计决策包括线程池手动生命周期管理和函数签名优化。
原始 PR · 作者 yewentao256 · 合并时间 2026-06-13 17:38
修复多模态模型权重映射时丢失 WeightRenaming 的 bug
建议合入并尽快回归测试多模态模型。这是一个值得精读的小改动,展示了如何正确处理上游库的权重重命名契约。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-06-13 17:34
修复 null max_tokens 导致 API 500 错误
本 PR 是典型的边界情况修复,逻辑清晰且改动量小,适合快速合入。
参与讨论