A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 jatseng-ai · 合并时间 2026-05-28 00:33
拆分 MoRI 后端为 mori_high_throughput / mori_low_latency
值得阅读，展示了如何在不引入新配置项的情况下扩展后端选择。设计上遵循现有模式，评审中对环境变量的取舍值得借鉴。
修复因 eager import 导致的 CUDA 驱动提前初始化
此 PR 是修复 CI 的关键修复，建议合并。其设计决策（避免在 __init__.py 中导出可能引入副作用的大模块）值得其他模块借鉴。
原始 PR · 作者 chunyang-wen · 合并时间 2026-05-28 00:09
修复文档生成时重复 GitHub 图标问题
可以快速合入。无需精读，但可作为学习 MkDocs 预处理顺序影响的好例子。
修复云存储URI在HF_HUB_OFFLINE=1时导致的HFValidationError
值得阅读。该PR展示了如何优雅地隔离外部存储URI与HF Hub的交互，代码改动简洁，注释清晰，可作为处理类似hybrid路径解析的参考。
升级 cutedsl 依赖到 4.5.2
可快速合并。建议在后续 CI 中关注 FA4 相关测试是否通过。
修复 Gemma4 Responses API 思考未启用
值得合并。设计简洁，尊重用户显式设置，且通过 `resolve_chat_template_kwargs` 天然过滤不兼容模型的 kwarg，安全无侵入。文档同步更新清晰。
原始 PR · 作者 lucianommartins · 合并时间 2026-05-27 18:36
Triton W4A16 内核支持 CUDA fallback
值得合并，变更简洁且目的明确。建议在后续 PR 中添加性能日志或文档说明，帮助用户了解 fallback 内核的使用情况。同时可考虑为 TritonW4A16LinearKernel 添加更细粒度的性能基准测试。
修正 MLA prefill 后端默认选择文档
建议审阅者确认文档预览内容正确后直接合并。这是一次纯粹的文档修正，没有逻辑和行为变更。
参与讨论