#22739 Restore Qwen3 rope config fallback
原始 PR · 作者 ishandhanani · 合并时间 2026-04-14 12:47
修复Qwen3模型在JSON配置覆盖时因rope_theta缺失导致的KeyError。
该PR变更简单直接,适合快速了解Qwen3模型配置处理机制。值得关注的设计决策是采用条件检查+回退值的方式处理配置缺失,而非强制要求配置完整性。
SGLang is a high-performance serving framework for large language models and multimodal models.
原始 PR · 作者 ishandhanani · 合并时间 2026-04-14 12:47
修复Qwen3模型在JSON配置覆盖时因rope_theta缺失导致的KeyError。
该PR变更简单直接,适合快速了解Qwen3模型配置处理机制。值得关注的设计决策是采用条件检查+回退值的方式处理配置缺失,而非强制要求配置完整性。
原始 PR · 作者 lixuwei2333 · 合并时间 2026-04-14 12:22
修复Anthropic API入口时钟不匹配导致的Prometheus指标负值问题。
该PR值得快速浏览,了解时钟不匹配导致的监控指标问题。关注点:1. 时钟选择对分布式系统指标的重要性。2. 为何保留received_time_perf变量(用于本地validation_time计算)。3. 与PR #17640的关联,体现跨入口一致性修复。
原始 PR · 作者 jasperjiaguo · 合并时间 2026-04-14 11:32
优化CI重跑逻辑,当sgl-kernel轮子已构建时跳过全量重跑,避免触发不稳定测试。
该PR值得精读,特别是对于负责CI维护的工程师,它展示了如何通过智能检查优化重跑逻辑,减少不稳定测试的影响。关注点包括try-except块的处理策略和条件判断的精细化设计。
原始 PR · 作者 huangtingwei9988 · 合并时间 2026-04-14 09:47
Mooncake后端支持DSA和Mamba模型
**值得精读**:该PR是HiCache支持混合模型的关键一步,引入了重要的设计模式: 1. 使用 `build_*_stack` 函数封装特定模型池的组装逻辑,使 `HiRadixCache` 和 `HiMambaRadixCache` 保持干净。 2. `HostPoolGroup` 和 `PoolEntry` 的抽象使得混合池的管理统一化。 3. Mooncake后端的 `batch_v2` 系列接口提供了多组件页面的通用处理方法,可复用于其他存储后端。 **建议密切关注后续PR**:`#22767`(修复HostPoolGroup属性问题)、作者承诺的新PR(处理mha_suffix和cp配置)以及原子性问题。
原始 PR · 作者 ishandhanani · 合并时间 2026-04-14 09:30
新增三个Prometheus指标,暴露KV缓存池原始令牌计数,提升内存使用可见性。
该PR值得快速浏览,特别是对于关注系统监控和内存管理的工程师。虽然实现简单,但设计决策值得注意: 1. 选择暴露原始计数而非预计算比率,提供了最大灵活性。 2. 指标命名清晰,文档字符串明确,便于后续使用。 3. 可作为学习如何向现有监控体系添加新指标的参考案例。
原始 PR · 作者 huangtingwei9988 · 合并时间 2026-04-14 09:03
澄清HiSparse解码令牌使用日志,区分GPU和CPU令牌统计。
对于关注HiSparse性能监控的开发者,值得快速浏览实现细节,特别是get_token_stats和_get_hisparse_token_info方法的统计逻辑;对于一般用户,了解日志格式变化即可,无需深入代码。
原始 PR · 作者 ZhaiFeiyue · 合并时间 2026-04-14 08:28
为Rust网关添加毫秒级日志时间戳支持,与Python SRT行为对齐。
该PR变更简单直接,适合快速了解环境变量控制日志格式的模式。值得关注的是review中提到的环境变量解析健壮性问题,虽然当前实现已满足基本需求,但在生产环境中可能需要更严格的错误处理。
原始 PR · 作者 yuki-brook · 合并时间 2026-04-14 08:12
添加SiMM作为HiCache分布式存储后端,支持RDMA零拷贝缓存加速。
建议精读此PR,重点关注存储后端集成模式,如配置优先级设计、NUMA感知优化以及RDMA集成。对于计划扩展分布式缓存的团队,可参考HiCacheSiMM的接口实现和错误处理机制。
参与讨论