A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 taneem-ibrahim · 合并时间 2026-06-06 13:57
替换pooling子系统中的assert为显式异常
建议合并，这是一次低风险的质量改进，展示了如何用显式异常替代assert以提升代码健壮性和用户体验。值得对其他模块类似的assert进行类似替换。
修复 mHC fused-RMSNorm 在 hidden_size != 4096 时编译错误
建议合并。这是一行关键修复，定位清晰、验证充分。
新增 Phi-4 mini JSON 工具解析器（Rust 前端）
建议快速阅读以了解 Rust 前端添加新解析器的标准化流程（配置常量、结构体、注册、测试）。关于 whitespace 差异的设计决策（是否对齐 Python 行为）值得关注，体现了务实的技术权衡。
修复 unsafe clone 消除 pass 误删布局变更的 clone
该 PR 虽然仅有 48 行变更，但修复了一个编译器优化 pass 的安全性问题，值得相关开发者精读，尤其是涉及自定义算子或依赖 tensor 布局的场景。
原始 PR · 作者 vadiklyutiy · 合并时间 2026-06-06 07:56
修复 custom op 返回视图导致启动崩溃
该 PR 改动简单但关键，建议所有使用 sequence-parallel MoE 的部署及时合入。可关注后续是否需要在测试中加入针对 custom op 输出别名的静态检查，防止同类问题。
原始 PR · 作者 Terrencezzj · 合并时间 2026-06-06 07:25
修复 Cohere MoE 路由未考虑无 renormalize 场景
建议阅读 `custom_routing_router.py` 中路由类型判断逻辑，理解 `RoutingMethodType` 的设计；同时关注后续是否有其他 expert 实现补齐 `Sigmoid` 支持。
原始 PR · 作者 DaoyuanLi2816 · 合并时间 2026-06-06 07:04
更新batch-invariance文档：添加Llama-3.2-3B并放宽GPU要求
简单的文档更新，已验证通过，可直接合并。对于关注batch-invariance的用户提供准确信息。
融合 RoPE 与静态 Q FP8 量化，提升 ROCm GPT-OSS 解码性能
该 PR 的设计模式值得精读，特别是 `auto_functionalized` 在编译 pass 中的正确使用、模式优先级注册机制以及能力检查模式。ROCm 开发者应重点关注，可作为 GPT-OSS 优化路径的参考实现。
参与讨论