Prhub

sgl-project/sglang · 标签视图

标签列表

聚合结果

dependencies 相关 PR

2026-09-16
基础设施 重要性 9.00 洞察度 6.00

Router 新增在途 HTTP 计数,随响应体结束才释放

值得精读,但只需聚焦两个文件:`src/server/inflight.rs`(计数原语与 RAII 守卫的设计,全文是标准「streaming 会计」范式)与 `src/server/app.rs` 的 `count_requests`(唯一的接线点,一行 `resp.map(...)` 承载了全部语义)。阅读时重点回答三个问题:(1) 为什么守卫必须挂在响应体而不是 handler future;(2) 为什么必须是 `Drop` 而不是显式 decrement(客户端中途断开);(3) 为什么 `Relaxed` 足够。测试部分值得看的是「非空性验证」思路 —— 作者通过把守卫改回 handler 出口释放来证明测试不是空断言,这种自我证伪值得借鉴。追 #39016 时建议回看本 PR,确认 drain 的等待条件确实基于这条 gauge,并补充 gzip / timeout 层下的在途观测。夹带的 `pd_protocol_binding.rs` 修复可略读。

功能 重要性 9.18 洞察度 7.00

Router 双端支持 h2c:入站同端口协商、出站按 worker 选协议转发

值得精读,尤其适合关注路由层网络栈的工程师。推荐关注三个设计决策:其一,客户端对象在构造期分裂并在热路径做纯选择,这是把“per-worker 属性”落到共享代理对象上的通用解法,可直接迁移到其他按 worker 差异化的配置项;其二,`admin_client()` 把“扇出型流量不属于任何 worker”这一语义显式编码进 API,而不是让调用点随便借一个 worker 的协议;其三,测试用“只讲 HTTP/2 的 mock”与“只讲 HTTP/1.1 的 mock”制造互斥,让错误绑定在线上失败而不是在断言里失败,这套手法比断言“传进去的值是 X”强得多。阅读时建议同时看 #39004(解析规则与 `dials_cleartext` 的 URL 归一化陷阱)以及 `Cargo.toml` 中 `http2` feature 的存在理由,否则容易误以为 `WireProtocol::Http1` 在 TLS 上也只讲 HTTP/1.1。

2026-09-15
基础设施 重要性 5.90 洞察度 4.00

升 Rust 1.92 并锁定构建依赖,为 Dynamo 渲染铺路

值得快速阅读,可作为“为功能迁移做依赖与供应链准备”的范式:工具链升级留痕、锁文件提交、CI 全 --locked、deny.toml 随依赖图演进动态收紧。重点关注 Cargo.toml 中依赖来源从 git SHA 到 registry 精确版本的迁移理由,以及 deny.toml 中 unmaintained 检查范围的权衡。因无运行时逻辑变更,不建议深度精读。

功能 重要性 8.87 洞察度 6.00

为无模板模型启用 Dynamo 原生渲染,DSV4 走通 chat API

建议精读。这个 PR 展示了三个值得借鉴的设计决策:一是"专用方案收敛为通用 fallback"的演进路径——从为 DSV4 定制 encoder 重构为 `native_formatter_for` 通用回退;二是用 `TemplateRequest` 包装结构体适配 `OAIChatLikeRequest` trait,在不改协议类型的前提下透传 `chat_template_kwargs`;三是用 `starts_in_reasoning` 解决"prefill 已输出思考标记导致流式阶段无起始边界"的 reasoning 解析问题。对后续维护者,建议重点关注 `prompt.ends_with(" thinking")` 的耦合点,以及在 dynamo-renderer 升级时同步回归模板缺失场景。

#39371 bumping sgl-deep-gemm to 0.2.0

原始 PR · 作者 Fridge003 · 合并时间 2026-09-15 06:30

缺陷修复 重要性 5.10 洞察度 5.00

升级 sgl-deep-gemm 0.2.0 并恢复 BF16 批量确定性

值得精读。重点学习三处设计:一是用 `getattr` 探测新 API 实现新旧 wheel 兼容的写法;二是 `try/finally` 恢复全局模式、避免状态泄漏的惯用法;三是以 batch = 1 为基准、固定随机种子、零容差的精确相等回归测试设计,这对任何「确定性承诺」类代码都很有参考价值。

2026-09-14

#39346 chore: bump sglang-kernel version to 0.4.7

原始 PR · 作者 sglang-bot · 合并时间 2026-09-14 11:49

基础设施 重要性 4.05 洞察度 2.00

sglang-kernel 依赖升至 0.4.7,同步三处引用

不值得精读,属于机械的依赖升版 PR。值得关注的不是代码本身,而是版本管理流程:aot 侧 pyproject.toml 作为版本定义源头,bot 自动同步主仓库三方引用。合入前需重点确认 CI Extra 车道的失败是否与 0.4.7 相关。

#39324 chore: bump sgl-kernel version to 0.4.7

原始 PR · 作者 sglang-bot · 合并时间 2026-09-14 06:48

基础设施 重要性 3.97 洞察度 1.00

sgl-kernel 版本统一升至 0.4.7,覆盖四大平台构建配置

不值得精读,属于机械的版本号同步。建议重点做两件事:确认上游 sgl-kernel 0.4.7 wheel 已成功发布,以及排查 PR 中三个 CI 失败的具体原因。该 PR 的价值在于维持多平台版本契约的一致性。

基础设施 重要性 5.99 洞察度 5.00

FlashMLA 升版接入 V4.1 内核并补 B300 原生编译

值得精读。本 PR 是外部内核 fork 依赖升级的典型样本,重点关注三处:一是 pin 升级伴随上游目录重构时的适配模式(路径改写 + 手工前向声明 + shim 编译单元);二是 sm_103a 编译目标的量化取舍,commit message 里给出了完整的回归与收益数据;三是测试探针 prompt 设计的统计思维——先确认被测对象在 base 模型上有固定答案,再谈度量。对需要维护 sgl-kernel 或处理类似第三方程内核集成的工程师,这些决策记录比代码本身更有参考价值。