sgl-project/sglang

将扩散模型NVFP4后端默认值切换为CUTLASS并添加全模型基准测试，优化Blackwell GPU性能。

建议工程师精读`cuda.py`中`get_modelopt_fp4_gemm_op`函数的变更，学习基于基准测试的后端选择策略；测试团队可参考新增基准测试脚本扩展CI覆盖。

通过预分配缓冲区和两阶段初始化，使MoE LoRA推理支持CUDA graph，优化内存和性能。

该PR值得精读，特别是CUDA graph内存管理设计，如两阶段初始化和缓冲区重用机制，这些决策对性能优化有重要意义。建议关注review中提到的风险点，如动态分配残留和GPU同步，以便在类似项目中借鉴。

修复 Mistral 嵌入模型因 transformers v5 升级导致的余弦相似度回归问题。

该 PR 值得精读，尤其是对于处理分词器兼容性和 transformers 版本升级问题的工程师。关注点：1) 理解快速分词器与慢速分词器在 add_eos_token 行为上的历史差异；2) 学习如何通过二分法定位回归问题；3) 掌握最小化修复策略，确保与上游参考实现保持一致。

通过JIT内核融合RMSNorm和tanh门控，优化Z-Image扩散模型推理速度。

建议阅读者精读此PR，重点关注JIT内核设计细节、融合优化策略以及如何平衡性能与兼容性。特别值得学习CuTeDSL使用和扩散模型层的集成方式。

修复 step3.5-flash 模型启动崩溃问题，移除未使用的 padding_idx 属性。

该 PR 变更简单直接，适合快速浏览以了解特定模型配置问题的修复方式。对于维护 step3.5 模型相关代码的工程师，值得关注这一配置差异的处理模式。

支持 DeepSeek V3 模型在 Blackwell 架构上的 MXFP8 推理优化，修复 BF16 MoE 精度问题。

建议技术管理者关注 PR 中的设计权衡，如保持 bf16 以避免重新量化，这反映了精度与性能的平衡。工程师可精读 `flashinfer_trtllm.py` 的优化部分，学习缓存策略对性能的提升。同时，注意 review 中未解决的架构检查问题，未来需补充相关验证。

修复 XPU 环境下 DeepSeek OCR 测试的内存泄漏和配置问题，提升 CI 稳定性。

对于负责 XPU 测试或 CI 维护的工程师，此 PR 值得精读，特别是 _cleanup_xpu_memory 实现和内存配置调整，以学习资源密集型测试的优化策略。设计决策中测试隔离和内存管理值得关注。

添加服务器标志强制流式响应包含使用信息，便于服务器端监控。

建议工程师精读此PR，重点关注should_include_usage函数的设计决策，它统一了流式使用信息处理逻辑，避免了代码重复；同时，参数命名的演变体现了设计权衡，值得学习。对于涉及服务器配置或openai服务开发的人员，此PR提供了实用的监控功能。