Prhub

sgl-project/sglang · 标签视图

标签列表

聚合结果

lora 相关 PR

2026-09-15
缺陷修复 重要性 7.57 洞察度 5.00

PD 解码前检查 LoRA adapter 槽位,防越限崩溃

值得精读,尤其关注三点:1) `running_loras` 的统计口径(包含 finished 请求)对"槽位即 GPU 资源"的建模;2) 复用调度器闸门而非另写一套判定的模块化选择;3) e2e 用确定性单服务器参考做逐字符比对的测试设计。对维护 PD 调度或 LoRA 多 adapter 场景的同学有直接参考价值。

2026-09-14
重构 重要性 5.28 洞察度 4.00

简化 decode 卸载哈希入参,改由 req 读取命名空间

值得快速阅读,不必精读。价值在两点:一是 'stacked PR + review 收口 + 尽量不动已测 head' 的协作模式;二是 `_compute_prefix_hash` 的接口收敛——命名空间读取集中到 `storage_namespace_seed(req.extra_key, req.cache_salt)`,避免调用方漏传参数。若要理解 HiCache + LoRA 的存储哈希命名空间隔离,建议结合 #38577 与 #37058 一起看。

2026-09-12
缺陷修复 重要性 8.97 洞察度 7.00

HiCache 存储页按 LoRA 与 salt 隔离,修复 KV 跨适配器复用

值得精读。核心看点:① 跨语言(Python/Rust)哈希种子的 framing 编码设计,如何用长度前缀消除歧义拼接并保持逐字节一致;② 存储哈希与事件哈希分离的契约边界,如何在修复正确性的同时不破坏既有外部消费者;③ root-only 匹配下 namespace 透传的坑位(`last_host_node.key` 取不到请求 namespace 的问题)。对涉及多级缓存、跨语言实现的团队有直接借鉴价值。

功能 重要性 8.25 洞察度 6.00

MoE LoRA 支持 full/breakable 预填图,移除 32 请求上限

值得精读。重点看三个设计决策:(1)decode 与 prefill 的 MoE scratch 分离如何避免图捕获指针冲突;(2)用请求数作为元数据安全上界的论证;(3)16-token tile 网格压缩如何在 CUDA grid 上限(65535)内覆盖 ragged 请求。若团队维护自定义 LoRA 后端,需同步更新 `init_prefill_cuda_graph_batch_info` 签名并实现 `max_num_requests` 语义。

测试 重要性 3.98 洞察度 5.00

跳过 AMD Wave 测试并放宽多 LoRA 容差

值得快速浏览(约 10 分钟)。本 PR 虽只是测试配套,但 review 中 yctseng0211 用纯 transformers 扫描 batch size 定位参考文本漂移的方法,是排查“实现回归 vs 环境漂移”的经典范例,对维护多硬件 CI 的团队有借鉴价值。值得关注的设计决策:把放宽范围用 `is_in_amd_ci()` 严格限定到特定环境而不是全局放宽;以及用 `@unittest.skip` 保留用例体、便于内核修复后一键恢复的做法。建议为 Wave NaN 根因补一个跟踪 issue,避免跳过变成永久跳过。

2026-09-11
测试 重要性 4.60 洞察度 3.00

LoRA logprob 准确性测试接入 AMD ROCm CI

此 PR 以测试为主,不建议深入精读源码,但值得快速浏览,作为“为既有测试做跨平台移植”的参考案例。两个值得注意的设计决策:一是用 is_hip() / is_xpu() 做平台条件化的后端选择,而不是为不同平台复制整套测试;二是按资源需求把测试挂到不同 CI suite(单卡 vs 4 卡),体现了测试成本与覆盖面的平衡。对计划在 SGLang 中为其他硬件平台扩展测试覆盖的贡献者有直接借鉴意义。

2026-09-08
功能 重要性 8.35 洞察度 6.00

在 Intel XPU 上启用 LoRA 功能,修复设备硬编码问题并配套完整测试。

此 PR 是一个重要的功能扩展,将 LoRA 支持推广到 Intel XPU 平台。核心实现思路(设备抽象、依赖防护、测试适配)是正确且值得借鉴的。然而,鉴于 CI 存在大量失败,且部分实现细节(如性能回退路径)未经基准测试验证,建议在合并后密切关注 CI 状态和用户反馈。对于关注跨平台兼容性或 XPU 部署的工程师,值得精读其实现模式,特别是 `rotary_embedding` 的防护导入和 `lora_utils.py` 中的容差比较机制。

2026-09-07
测试 重要性 5.12 洞察度 3.00

修复 chunked-SGMV LoRA 测试中过时的 ServerArgs 模拟对象,确保测试配置与生产路径一致。

这是一个必要的测试修复,对于维护 CI 健康和确保 LoRA 功能正确性有价值。建议精读,以理解 #38049 引入的变更如何影响测试,以及 `override_server_args` 上下文管理器的正确用法。