Prhub

sgl-project/sglang · 标签视图

标签列表

聚合结果

flashinfer 相关 PR

2026-08-20

#30874 chore: bump tilelang to 0.1.12

原始 PR · 作者 elvischenv · 合并时间 2026-08-20 08:01

dependencies 重要性 3.43 洞察度 3.00

升级 tilelang 至 0.1.12 修复 FlashInfer 融合初始化

值得合并,但建议关注升级后 FlashInfer 融合的实测性能。可精读 tile-ai/tilelang#2541 了解根因。

2026-07-31
缺陷修复 重要性 4.96 洞察度 4.00

清空 FlashInfer BF16 置换索引缓存,修复 RL 权重更新损坏

值得精读的短小修复。虽然改动只有 5 行,但背后是 RL 权重热更新与 GPU 缓存生命周期的经典冲突。建议关注两点:一是“在周期开始时清空缓存、周期内继续复用”的权衡;二是向后续维护者提示同类缓存(如 MXFP8、NVFP4 之外的其他后端缓存)需要一并审计。对从事 RL 训练、权重热更新或 FlashInfer 后端的工程师尤其有参考价值,后续应跟进正式单测。

2026-07-19
2026-06-22
功能 重要性 5.19 洞察度 3.00

B300 上默认开启 Qwen3-VL MoE 的 FlashInfer allreduce

该 PR 改动极小但有着扎实的 benchmark 和精度验证支撑,值得审阅者快速合入。开发者可以关注其环境版本问题的解决方式,以及在更广的硬件和模型配置下的稳定性验证。

缺陷修复 重要性 6.10 洞察度 5.00

修复 FR-Spec 下 draft-extend CUDA graph 闪退

该 PR 修改精炼(+10/-11),逻辑清晰,是典型的边界条件修复。值得关注的设计决策是:通过 `getattr` 从 worker 实例获取运行时状态,避免了修改 hf_config 或传递复杂参数,保持了接口简洁。建议阅读 `eagle_draft_extend_cuda_graph_runner.py` 中的回退逻辑和 `eagle_worker_v2.py` 中 backend 判断的简化。