SGLang is a high-performance serving framework for large language models and multimodal models.
增强位精确融合回退诊断并新增 FlashInfer 提示
值得精读，尤其是维护 diffusion 融合 kernel 或位精确验证机制的工程师。重点关注三点设计：一是用“回调传入 + 函数内延迟导入”实现零稳态开销的诊断；二是用多层 try/except 保证诊断永远不破坏正确性回退；三是用 `importlib.metadata` 对多个关联包版本做 best-effort 探测。对依赖日志解析与告警的团队，建议同步检查 warning 文案变化是否需要适配。
调优 SM120 Diffusion 内核启动，RTX 5090 提速约 10.9%
建议内核调优和 Diffusion 性能相关工程师快速阅读。值得借鉴的是：用寄存器数/占用率分析定位瓶颈、用穷举行与 warp 扫描确定架构特定配置，并刻意保持 SM90 启动字节级不变以控制回归风险。该 PR 本身不涉及架构级设计，无需精读。
原始 PR · 作者 nv-dmajchrowski · 合并时间 2026-08-12 10:29
Cosmos3 Edge 与蒸馏变体支持，变体自动识别
值得精读。重点看三处设计：① 变体检测一次性预计算（`update_config_from_dict` + `lru_cache`）避免 per-request 下载 checkpoint 配置，这是 diffusion 多变体服务的通用模式；② Ulysses SP 下 SDE 噪声生成器跨 rank 同步的思路，可复用到其它扩散模型；③ `_predict_noise_cfg` 对 CFG padding 在无 mask cross-attention 下语义的分析（零 K/V 仍占 softmax 权重），是少见的数值质量权衡。另外 review 中 mickqian 对防御性代码的两次拒绝（fail-fast、显式契约）展示了该仓库的工程偏好，值得团队对齐。
修复 diffusion 基准误传弃用 --warmup 标志
值得快速浏览，尤其是 CI 配置维护者。关键设计决策是用 `--warmup-mode server` 替代而不是删除标志，避免静默关闭预热；作者提出的 pre-merge 参数预检 lint 是低成本的后续改进，建议纳入 CI 治理。
修复 DSA prefill-CP 推测解码 num_splits 崩溃
这是一个小而精的 bugfix，值得所有涉及 DSA 注意力、推测解码或 CP-v2 相关工作的工程师精读。核心看点是 `cal_padded_tokens` 与 `prepare_mlp_sync_batch` 的镜像关系，以及 `enable_cp_v2()` / `is_cp_v2_active()` 两个开关在不同前向模式下的组合语义。建议在后续 PR 中补充自动化回归测试，并把该对齐关系抽取为可复用的共享函数，避免再次漂移。
新增 SANA-Video 原生 T2V 支持，绕过 Diffusers 通用后端
值得精读。该 PR 是 SGLang Diffusion 原生支持 SANA-Video 的完整范例，重点学习：(1) 如何用 param_names_mapping 将 Diffusers 权重映射到 SGLang 的合并投影层；(2) SanaVideoTextEncodingStage 如何复现 Diffusers 的 complex human instruction 与 prompt window 语义；(3) registry 中模型检测器的互斥注册模式。若后续要接新的视频 DiT 模型，可参照此 PR 的 pipeline 划分与潜在形状对齐逻辑。
修复 Qwen PP 下融合共享专家检测崩溃
值得精读。这是一份小而完整的 PP 兼容修复样例，展示了 `PPMissingLayer` 占位符在模型初始化阶段的典型陷阱，以及如何用“本地区间扫描 + `getattr` 防御”规避。关注 `_get_num_fused_shared_experts` 的防御风格与测试桩设计即可，无需深入其它模块。
Ideogram-4 融合 RoPE 与 SwiGLU，denoise 降约 5%
值得精读。这是 diffusion 模块性能优化链条（#34305 → #34306 → 本 PR）的收尾一环，价值在于：① 单 kernel 融合如何逐边界复刻 eager 的 bf16 舍入（`round_bf16_to_fp32` + store 时二次舍入），是写数值敏感融合 kernel 的范本；② `BitExactFusionGate` 首调自校验 + 永久回退的挂载模式，让 bit-exact 优化可以默认开启而零风险，值得在更多模型推广；③ 放弃拼接输入 `silu_and_mul`（避免全宽 `cat` 抵消收益）的取舍分析很有参考价值。建议结合 #34305、#34306 与 ERNIE 的挂载方式一起阅读。
参与讨论