A high-throughput and memory-efficient inference and serving engine for LLMs
作者 whyiug · 合并时间 2026-03-28 22:28
清理非核心文件的 lint 问题，优化代码可读性。
对于大多数工程师，此 PR 不值得精读，除非关注代码风格或特定文件维护。可以快速浏览以了解清理模式。
作者 scyyh11 · 合并时间 2026-03-28 21:32
禁止多渲染器工作线程与多模态处理器缓存同时使用，避免竞态条件。
该 PR 值得快速浏览，特别是对于处理多模态功能的工程师。关注点：1) 验证逻辑的放置位置（`__post_init__`）确保了配置时即检查。2) 错误信息的清晰度，直接指导用户如何解决。3) 测试用例的完整性，覆盖了正反案例。
作者 mgoin · 合并时间 2026-03-28 21:09
在Docker构建时预下载FlashInfer BMM headers，修复CI离线环境启动失败。
此PR变更简单，可作为快速修复CI构建依赖问题的案例参考。对于涉及Docker构建或CI依赖管理的工程师，值得了解其解决路径不匹配的方法，但作为临时修复，建议关注上游FlashInfer的更新以规划长期解决方案。
作者 yzong-rh · 合并时间 2026-03-28 17:06
修复test_abort_final_step测试中的竞态条件，将固定sleep替换为轮询机制。
建议该PR仅作为测试可靠性改进的参考，关注轮询机制在处理竞态条件时的设计应用。对于测试代码开发者，可注意死代码问题，建议在后续清理中移除无用assert，以提升代码可维护性。
作者 li-liwen · 合并时间 2026-03-28 16:27
修复ROCm上MoE基准测试Ray worker的设备索引错误，避免崩溃。
对于关注ROCm支持、MoE性能调优或分布式设备管理的工程师，此PR值得快速浏览，了解Ray worker设备索引处理的模式。变更简单但揭示了平台特定代码的条件隔离重要性，可作为跨平台兼容性设计的参考案例。
作者 tjtanaa · 合并时间 2026-03-28 14:07
更新ROCm变体至7.2.1，调整CI/CD发布流水线配置。
该PR相对简单，涉及基础设施配置更新，建议关注版本一致性检查，确保Docker镜像与变体匹配。对于负责CI/CD的工程师值得一读，以了解版本升级流程。
作者 ir1ka · 合并时间 2026-03-28 07:36
修复 Marlin GEMM 在 float16 时因溢出导致 NaN/Inf 的 bug。
建议技术管理者和工程师精读此 PR，关注动态缩放策略的设计权衡，以及如何在保持性能的同时处理数值溢出。特别留意 `marlin_template.h` 文件中的缩放逻辑修改和 Python 工具函数的 `a_dtype` 参数处理，这些是避免二次溢出的关键。同时，review 讨论中的性能与正确性权衡值得学习。
作者 wzhao18 · 合并时间 2026-03-28 07:30
使用torch.compile融合trtllm MoE中pack topk操作，实现约2%速度提升。
该PR值得精读，特别是torch.compile在性能优化中的应用，以及dynamic参数的设计决策（从移除到重新添加的动态调整过程），对于理解编译优化策略和Moe层实现有重要参考价值。
参与讨论