执行摘要
该PR为Whisper模型启用了CUDA图支持和时间戳功能，通过重构交叉注意力实现，移除了不兼容的缓存机制，实现了36%的吞吐量提升，同时保持精度不变，并扩展了API以支持时间戳输出，显著提升了语音转录服务的性能和功能。
功能与动机
之前，Whisper模型使用自定义的bmm + mask交叉注意力实现和Python端的_encoder_cache字典，这不兼容CUDA图捕获/重放，导致无法利用图形优化提升性能。该PR旨在解决此问题，启用CUDA图以提升推理效率（相关Issue #21161），并添加时间戳支持以兼容OpenAI的verbose_json格式，增强用户体验。PR body中强调目标是实现"36% throughput improvement"且"identical accuracy"。
实现拆解
实现按模块拆解如下：
- 模型层 (
python/sglang/srt/models/whisper.py)：将手动BMM交叉注意力替换为RadixAttention路径，代码从约91行缩减到32行，简化逻辑并启用CUDA图。关键变更：forward方法中，交叉注意力时设置k=None, v=None，依赖self.attn处理缓存。
- 执行器层 (
python/sglang/srt/model_executor/cuda_graph_runner.py 和 model_runner.py)：修复CUDA图捕获，设置encoder_len_fill_value为max_source_positions（如Whisper的1500），确保交叉注意力内核被包含在捕获图中。
- 注意力后端 (
python/sglang/srt/layers/attention/flashinfer_backend.py)：修复update_cross_attention函数，使用encoder_lens而非seq_lens进行交叉注意力规划，避免KV长度覆盖错误。
- API和处理器：
python/sglang/srt/entrypoints/openai/serving_transcription.py：新增_parse_segments函数解析时间戳令牌，支持verbose_json响应。python/sglang/srt/multimodal/processors/whisper.py：修改_pop_sampling_param处理时间戳粒度，调整解码器提示令牌（使用<|0.00|>替代<|notimestamps|>）。python/sglang/srt/entrypoints/http_server.py：扩展API端点支持timestamp_granularities和verbose_json格式。
- 配置和测试：
python/sglang/srt/server_args.py：自动为Whisper选择flashinfer后端，并禁用radix cache以避免前缀缓存冲突。test/manual/test_whisper_cuda_graph.py：新增测试文件，验证CUDA图支持的正确性和请求一致性。
评论区精华
Review评论中仅有一人（mickqian）批准，无具体技术讨论。Issue评论中主要有两个线程：
- Lint修复：yuan-luo评论"Please fix lint."，作者通过多次运行CI（如
/tag-and-rerun-ci）解决格式问题，体现了团队对代码质量的关注。
- 性能基准测试：作者提供了与vLLM的详细基准测试对比，显示SGLang在Whisper服务上的性能优势，但无进一步技术交锋，结论是变更被接受。
风险与影响
风险：
- 回归风险：
whisper.py中交叉注意力逻辑变更可能引入错误，但新增测试覆盖和精度验证（WER不变） mitigates 此风险。
- 兼容性问题：
server_args.py中自动选择flashinfer后端可能影响其他编码器-解码器模型，需确保后端支持充分测试。
- 时间戳解析稳定性：
_parse_segments函数需处理异常令牌序列，边缘情况（如缺失时间戳令牌）可能导致解析失败或输出错误。
- CUDA图捕获依赖：修复依赖于
max_source_positions配置，若模型配置错误（如非Whisper模型），可能导致捕获失败或性能退化。
影响：
- 用户：获得显著的性能提升（吞吐量+36%）和新增时间戳功能，提升语音转录体验。
- 系统：CUDA图启用减少推理延迟，提升资源利用率，但增加了后端复杂性（如强制使用flashinfer）。
- 团队：代码变更跨多个模块，增加了维护负担，但通过测试和文档（PR body中的基准）提供了清晰的质量保证。
关联脉络
从历史PR分析看，该PR与以下PR相关：
- PR 20441：修复Piecewise CUDA Graph崩溃，同是CUDA图优化，显示仓库对图形捕获技术的持续改进。
- PR 21123：减少多模态张量哈希的CPU内存，共享性能优化主题，体现团队在多模态和推理效率上的演进方向。
整体上，该PR是sglang仓库在提升多模型（如Whisper）推理性能的重要一步，结合了架构重构（RadixAttention集成）和新功能扩展（时间戳），为后续类似编码器-解码器模型的优化提供了参考模板。
参与讨论