#22534 ci: skip full rerun when sgl-kernel wheel already built
作者 jasperjiaguo · 合并时间 2026-04-14 11:32
优化CI重跑逻辑,当sgl-kernel轮子已构建时跳过全量重跑,避免触发不稳定测试。
该PR值得精读,特别是对于负责CI维护的工程师,它展示了如何通过智能检查优化重跑逻辑,减少不稳定测试的影响。关注点包括try-except块的处理策略和条件判断的精细化设计。
SGLang is a high-performance serving framework for large language models and multimodal models.
作者 jasperjiaguo · 合并时间 2026-04-14 11:32
优化CI重跑逻辑,当sgl-kernel轮子已构建时跳过全量重跑,避免触发不稳定测试。
该PR值得精读,特别是对于负责CI维护的工程师,它展示了如何通过智能检查优化重跑逻辑,减少不稳定测试的影响。关注点包括try-except块的处理策略和条件判断的精细化设计。
作者 huangtingwei9988 · 合并时间 2026-04-14 09:47
扩展HiCache以支持Mooncake后端,使DSA和Mamba模型能使用分层缓存。
该PR值得精读,特别是`hybrid_pool_assembler.py`中的设计展示了如何通过抽象层支持多种混合模型,以及`mooncake_store.py`中零拷贝IO集成模式。关注`_resolve_shared_pool_transfers`方法对共享索引池的处理,这是确保数据一致性的关键。
作者 ishandhanani · 合并时间 2026-04-14 09:30
新增三个Prometheus指标,暴露KV缓存池原始令牌计数,提升内存使用可见性。
该PR值得快速浏览,特别是对于关注系统监控和内存管理的工程师。虽然实现简单,但设计决策值得注意: 1. 选择暴露原始计数而非预计算比率,提供了最大灵活性。 2. 指标命名清晰,文档字符串明确,便于后续使用。 3. 可作为学习如何向现有监控体系添加新指标的参考案例。
作者 huangtingwei9988 · 合并时间 2026-04-14 09:03
澄清HiSparse解码令牌使用日志,区分GPU和CPU令牌统计。
对于关注HiSparse性能监控的开发者,值得快速浏览实现细节,特别是get_token_stats和_get_hisparse_token_info方法的统计逻辑;对于一般用户,了解日志格式变化即可,无需深入代码。
作者 ZhaiFeiyue · 合并时间 2026-04-14 08:28
为Rust网关添加毫秒级日志时间戳支持,与Python SRT行为对齐。
该PR变更简单直接,适合快速了解环境变量控制日志格式的模式。值得关注的是review中提到的环境变量解析健壮性问题,虽然当前实现已满足基本需求,但在生产环境中可能需要更严格的错误处理。
作者 yuki-brook · 合并时间 2026-04-14 08:12
添加SiMM作为HiCache分布式存储后端,支持RDMA零拷贝缓存加速。
建议精读此PR,重点关注存储后端集成模式,如配置优先级设计、NUMA感知优化以及RDMA集成。对于计划扩展分布式缓存的团队,可参考HiCacheSiMM的接口实现和错误处理机制。
作者 csahithi · 合并时间 2026-04-14 08:08
为GB200夜间流水线添加手动触发和环境门控,保护共享集群资源。
这是一个典型的CI/CD基础设施改进,值得团队了解新的触发方式和资源管控机制。虽然变更简单,但体现了对高价值硬件资源的管理策略,建议关注gb200-ci环境的实际配置和权限管理。
作者 hnyls2002 · 合并时间 2026-04-14 08:02
删除SessionAwareCache.release_session中的死代码路径,简化缓存释放逻辑。
建议快速浏览以理解代码清理决策,重点关注split-safety假设和radix树分裂行为。对于从事缓存或会话管理的工程师,此PR提供了死代码识别和清理的良好案例。
参与讨论