Prhub

sgl-project/sglang · 标签视图

标签列表

聚合结果

npu 相关 PR

2026-09-01
基础设施 重要性 5.36 洞察度 5.00

NPU 多机测试按 run_id 隔离源码与 pod,避免并发互相干扰

值得快速浏览,对 CI 并行隔离设计有参考价值:run_id 贯穿"存储路径 + job 名 + pod label + 日志路径"四个层面,是一种轻量且完整的运行级隔离范式。重点借鉴 `prepare_cm_data` 的"label selector 收窄 + 名称前缀兜底"双保险过滤方式;同时注意模板与 Python 脚本必须同步演进,未来新增 job 类型时要同步补 `run-id` label。

2026-08-31
测试 重要性 3.83 洞察度 2.00

重新启用 DSV4-Flash W8A8 8p 两个夜间性能测试用例

值得快速浏览,但无需精读。该 PR 展示了 SGLang 使用 `register_npu_ci` 的 `disabled` 标志作为轻量 CI 开关的模式:临时禁用用例、问题修复后移除标志即可恢复注册。对于需要管理长时间夜间性能测试的团队,这是一个值得复用的开关设计。

缺陷修复 重要性 4.96 洞察度 4.00

修复 NPU 精度测试解析与超时,并调整显存参数

值得快速浏览,不建议精读。对 NPU 测试维护者有参考价值:一是 evalscope 多版本输出格式的兼容处理方式(正则顺序 + `finditer` + 百分比归一化);二是 kimi_k2_6 显存参数调参时把"KV 池上限 vs prefill OOM"的权衡写进 commit 的做法,是测试配置变更的良好实践。核心逻辑直白,无架构性内容。

2026-08-30
缺陷修复 重要性 8.36 洞察度 6.00

修复 VLM 解码错误分类与预处理池故障恢复

值得精读。该 PR 展示了如何优雅处理多进程池故障:将阻塞提交移出事件循环、用锁保证并发替换幂等、用后台线程清理旧池,以及用 `asyncio.shield` 配合 `gather(return_exceptions=True)` 做取消安全的资源清理。这些模式可复用于其他依赖进程池且需要异步超时的场景。建议关注池创建失败和取消延迟两个边界,后续可考虑补充对应测试。

缺陷修复 重要性 7.01 洞察度 6.00

修复 pynccl 分配器在 torch 2.7/NPU 启动崩溃

值得精读。核心看点有三个:(1) 用「调用点 `torch._C` 惰性查找」替代「try/except + `None` 哨兵」的设计取舍,alexnails 的评论点出了 `None` fallback 会掩盖真实 CUDA 安装损坏的深坑,这个思考对任何跨版本私有 API 兼容处理都有借鉴价值;(2) 静态 AST 回归测试是平台兼容性测试的优秀范本——不需要目标硬件、不修改共享模块状态、可在任何版本上防回归;(3) 平台 hook 的 `declare_resolution` 声明式降级模式,与同文件 `handle_nccl_pre_warm` 形成一致的设备门控风格。建议合并后配合 issue #28999 的验证者(Ascend 910B)确认端到端推理不受 FlagGems 外部 bug 影响。

文档 重要性 5.84 洞察度 4.00

NPU 量化注释去除厂商措辞,统一为 NPU

无需精读技术细节,但值得快速过一眼关键文件的注释,尤其是 `linear_method_npu.py` 和 `mxfp4_npu.py` 中保留的量化布局规范(FRACTAL_NZ、双级 scale 形状、DualLevelQuantBatchMatMul 的 A5-only 限制),这些是 NPU 量化调试的重要线索。该 PR 适合作为注释术语规范的参考模板。

2026-08-29
重构 重要性 9.36 洞察度 8.00

清零 arg_groups 对 ServerArgs 的 96 处回调用例

值得精读。本 PR 是配置系统架构收敛的关键一环,展示了如何系统性消除跨层反向依赖。重点关注:(1) `test_no_hook_reads_a_field_off_the_record` 包级守卫的设计思路;(2) `from ... import` 拷贝语义对测试接缝的影响分析;(3) memo 放在 record 上随 pickle 传递的取舍。同时建议跟踪 Codex 指出的 `cutedsl_moe_max_num_tokens` 遗漏调用是否已在后续修复中解决。

缺陷修复 重要性 4.35 洞察度 4.00

修复 NPU FIA 算子因非连续输入导致的运行时报错

建议精读该 PR,了解 FIA 算子对输入连续性的要求以及 NPU 后端对张量布局的处理方式。虽然变更很小,但体现了硬件后端适配中常见的连续性约束问题,值得记录。