Prhub

sgl-project/sglang · 标签视图

标签列表

聚合结果

hicache 相关 PR

2026-09-16
缺陷修复 重要性 5.90 洞察度 6.00

HiCache v2 调用补齐 prefix 元数据

值得花 10 分钟精读,尤其是三处细节:一是 `None` 与 `[]` 的三态语义如何影响累积起点;二是「非原地拼接」与 `HiCacheStorageExtraInfo(prefix_keys=...)` 共享 list 引用之间的隐式耦合,读懂这一点才能理解为什么 `_page_transfer_sidecar` 还能拿到原始前缀;三是 `_page_transfer` 先读 KV、`_page_transfer_sidecar` 后读 sidecar 的顺序依赖。合入后的建议:补一个单元测试覆盖 `prefix_keys` 为 `None` / `[]` / 非空三种输入下 v2 后端实际收到的 `extra_info`,并在累积处加一句注释固化「禁止改回原地 `+=`」的约束;同时确认失败的那条 AMD ROCm 10 CI 与本改动无关。

重构 重要性 9.00 洞察度 5.00

清理 SRT 大量死代码与废弃测试,净删 3159 行

值得精读,尤其适合作为“大规模死代码清理”的范例:PR body 给出了每类删除的可验证论证(调用方扫描、import 检查、动态查找、测试矩阵隔离对比),并量化了删除的测试收益与保留项。值得关注的设计决策包括:缓存键简化为 UUID 列表、用 main/PR 测试计数差精确对齐删除的测试用例、以及删除 scanner 测试但保留行为测试的“迁移后退役守卫”模式。对编译、模型加载与 HiCache 模块维护者,建议留意编译缓存键变化与三个守卫测试退役后的长期影响。

文档 重要性 3.67 洞察度 2.00

Qwen3.5 MI355X HiCache 文档改回 kernel 与 page_first 后端

该 PR 本身不值得精读:6 行改动、无讨论、无测试。但值得关注两点:一是 cookbook 命令生成器与真实部署命令的一致性维护机制(recipe-link MAJOR-arg 检查),二是它与 #39358 的一来一回可作为 AMD HiCache 后端选型(`kernel` vs `direct`)演进的观察线索;若后续镜像版本再次调整 flag,应同步检查这份文档。

缺陷修复 重要性 7.24 洞察度 5.00

HiCache 指标按 rank 打标并拆分 shrunk 归因,修复多 rank 求和失真

值得精读。如果团队将 HiCache 作为生产级分层缓存使用,本 PR 的指标语义约定(per-shard vs logically replicated、attempt 级诊断 vs 最终 miss 计数)是解读后续 HiCache 面板和告警的前提。特别值得学习的设计决策:一是 rank 标签与 storage collector 键约定对齐,避免 L2/L3 两层指标无法关联;二是在重构导致某些 reason 失去代码路径后,保留 label 预置以维持 dashboard 稳定、同时明确文档口径;三是把"窗口字节 delta / duration sum"定义为活跃带宽,区分纯 rate 含空闲时间的口径。

基础设施 重要性 5.67 洞察度 7.00

为 sgl-router 监控看板新增 KV 分层存储覆盖率三面板

这个 PR 最值得精读的是 PR body 而非 diff:其中关于"跨 namespace 相除会得到一个漂亮的错误数字(0.54 vs 1.00)"、"检查查询的值而非仅仅检查返回行"、"max 会掩盖 quietest replica 失联"的监控设计论证具有普遍借鉴价值,适合负责可观测性面板与告警设计的工程师参考。建议与 #39109、#39110 按 stack 顺序一起阅读,了解指标从产生、测试到面板化呈现的完整链路。

测试 重要性 7.55 洞察度 7.00

真实 GPU e2e 测试覆盖 HiCache 分层缓存路由

值得精读。虽然纯测试变更,但测试设计方法论有很高参考价值:用引擎自身记账而非树状态做 payoff 断言以避免 vacuous pass;按 owner 份额而非集群总量计算驱逐预算;驱动式而非固定请求数;验证前提(双 worker 注册)而非假设;参数化覆盖面相反事件顺序。建议结合系列前序 PR(tier-aware tree 与 metrics 支撑)一起阅读,并关注后续第 4 部分。

功能 重要性 9.00 洞察度 7.00

路由器 /metrics 暴露 KV 分层存储事件与树占用指标

值得精读。该 PR 是“为观测而设计”的样板:固定基数标签折叠、零值即结论、编译期断言钉死三表一致性、穷举 match 替代判别式转型、pull-on-scrape 与结构性零的取舍,每一处都有明确故障场景支撑。建议与 #39108(1/4)、#39110(3/4)连读以获得完整上下文;若团队后续要扩展新的存储 tier,本 PR 中 `Tiers::SLOTS` 与 `MEDIUM_LABELS` 的编译期约束是必须复用的模式。

性能优化 重要性 6.66 洞察度 5.00

HiCache 存在缓存 LRU 扩至 512K 并优化查询热路径

值得精读的 Python 热路径微优化范例:展示了方法绑定(hoisting)、EAFP 与 LBYL 的取舍、批量淘汰、以及容量-内存权衡的工程分析,适合对缓存设计和性能优化感兴趣的工程师学习。但应意识到它缺少 benchmark 和专项测试,落地到线上前建议补一次 buffer-mode 长上下文对比测试验证收益。