XPU上ViT注意力float32回退到Triton
值得合并,修复明确且风险低。变更简单,与现有设计一致,无测试配套(但已有integration测试覆盖)。
A high-throughput and memory-efficient inference and serving engine for LLMs
XPU上ViT注意力float32回退到Triton
值得合并,修复明确且风险低。变更简单,与现有设计一致,无测试配套(但已有integration测试覆盖)。
修复 Responses API 流式工具调用参数丢失
值得快速合并。修复明确,改动量小,风险低。可关注后续是否还有类似遗漏的调用点。
修复 TrtLLM MoE 路由方法分类及 dtype 检查
建议尽快合入,以修复 CI 失败和模型兼容性问题。该 PR 展现了精细的路由方法分类调整,可精读 `get_routing_method_type` 的决策树逻辑,了解不同模型的路由模式。
原始 PR · 作者 shen-shanshan · 合并时间 2026-06-03 16:21
更新 ViT CUDA 图文档,同步代码变更
此 PR 是纯粹的文档同步更新,对大多数工程师无需精读。但若您正在使用或开发 ViT CUDA 图系统,建议查看此文档以了解最新的 API 和流程。
修复 HF chat template 渲染的数字精度和字段影子问题
本 PR 值得精读,尤其关注以下要点:(1)如何在不修改 MiniJinja 核心的前提下,通过自定义 Object 和 pycompat 后门解决字段与方法冲突的设计模式;(2)全局 `serde_json` 特性调整时的依赖影响评估思路;(3)测试用例设计中对渲染精度妥协的明确标注。对于同样使用 MiniJinja 渲染 HF 模板的其他项目,此方案具有直接参考价值。
Rust 前端新增动态 LoRA 管理端点
该 PR 安全设计充分,并发控制合理,值得团队精读。建议后续补充 CI 中端到端测试,并关注路径验证的 TOCTOU 缓解。
Rust 服务端新增路由器扩展钩子
值得阅读以了解 Rust 前端 API 的演进方向。该 PR 展示了如何以最小侵入的方式添加扩展点,设计决策(不暴露内部状态、闭包组合)值得借鉴。
原始 PR · 作者 varun-sundar-rabindranath · 合并时间 2026-06-03 15:03
移除 HMA 模型在 Tiering Offload 中的限制
该 PR 本身改动极小(仅删除一行),但具有较大的功能影响。建议开发者和测试人员关注新增的兼容模型列表,并对 PR body 中列出的失败模型进行进一步调查。作为“解除封锁”类变更,值得快速合并,但后续应跟进失败模型的 root cause。
参与讨论