Prhub

sgl-project/sglang · 标签视图

标签列表

聚合结果

pp 相关 PR

2026-08-29
性能优化 重要性 6.41 洞察度 6.00

优化 HiCache 预取进度检查,减少不必要 all-reduce

该 PR 值得精读,尤其是对于理解 HiCache 在 PP/TP 下的同步机制,以及如何通过按需执行集合通信来优化性能。其设计决策(将 all-reduce 从公共路径中移出,仅保留在需要跨 rank 一致的 timeout 分支)具有借鉴意义。建议关注 `_can_terminate_prefetch` 上的 `rank_consensus` 装饰器的作用,以及未来可能对测试覆盖的补充。

2026-06-01