修复文档构建的 Docstring 格式问题
该 PR 值得合并,修复了文档构建的警告,属于基础的维护性变更。
A high-throughput and memory-efficient inference and serving engine for LLMs
修复文档构建的 Docstring 格式问题
该 PR 值得合并,修复了文档构建的警告,属于基础的维护性变更。
原始 PR · 作者 LopezCastroRoberto · 合并时间 2026-07-09 06:11
添加 TileLang JIT 编译运行时监控
建议阅读 `_setup_tilelang_jit_hook` 的非侵入式包装设计及缓存键提取逻辑。对使用 TileLang 后端的团队,此监控可显著提升可观测性,推荐合并。
原始 PR · 作者 tlrmchlsmth · 合并时间 2026-07-09 05:59
GSM8K KV卸载回归测试,覆盖四大架构族
该PR设计扎实,测试覆盖四大架构和两种卸载连接器,且包含同步屏障和精度断言。建议精读 `_reset_gpu_prefix_cache` 的轮询策略和 `test_gsm8k_offloading_correctness` 的双评估逻辑。对于KV卸载模块的开发者,此测试应纳入日常开发流程。
原始 PR · 作者 gau-nernst · 合并时间 2026-07-09 05:58
TRTLLM FP8 MoE 支持 FlashInfer A2A 后端
值得合并,但建议补充测试确保新配置组合的正确工作。
ROCm AITER FA 空张量 .max() 崩溃修复
建议合入此 PR。变更微小但关键,解决了实际崩溃问题,且经社区验证。值得关注的是同文件中是否存在其他类似的未守卫空张量操作。
集成 TRTLLM BF16 MoE 模块化内核,扩展后端支持
建议 MoE 相关开发者精读本 PR,特别是 `trtllm_bf16_moe.py` 的类层次拆分和 `unquantized.py` 的多候选 fallback 机制。关注点:模块化接口的实现方式、向后兼容别名的取舍、Oracle 选择逻辑的变更。
移动 late_interaction_runner.py 到正确路径
建议快速合并。这是一个纯代码结构清理 PR,无功能影响,但有助于减少未来开发者的困惑。
原始 PR · 作者 cleonard530 · 合并时间 2026-07-09 01:56
更新 FA3 的 GIT_TAG 为 torch Stable ABI 版本
推荐的 PR:变更简单明确,适合快速合并。对于关注构建兼容性的团队,值得了解 torch Stable ABI 工具链的使用。
参与讨论