Prhub

sgl-project/sglang · 标签视图

标签列表

聚合结果

nixl 相关 PR

2026-05-13
功能 重要性 8.96 洞察度 7.00

NIXL 后端新增 staging buffer 支持异构 TP 批量 KV 传输

此 PR 重构了 NIXL 的 KV 传输路径,引入 staging buffer 后性能提升显著。代码抽象值得学习,尤其是 `register_fn` 回调模式。建议 NIXL 用户升级并启用 staging buffer。mooncake 用户无需改动,但可从统一抽象中受益。