执行摘要
本 PR 更新了 diffusion benchmark/profile 技能，通过强制使用 native SGLang backend 并添加后端验证机制，确保性能数据准确性。变更涉及核心 benchmark 脚本的逻辑增强和多个技能文档的刷新，对使用 diffusion skills 的工程师有直接影响，提升了工具可靠性和文档一致性。
功能与动机
为什么做？ 根据 PR body，主要动机是收紧 diffusion benchmark/profile 技能对 native backend 的验证，避免 silent fallback 到 diffusers backend 导致性能数据不准确。引用原话：'tighten the diffusion benchmark/profile skill around native-backend validation'，确保 benchmark 和 profile 结果必须来自 native SGLang diffusion backend。
实现拆解
-
入口点：benchmark 脚本增强
文件：python/sglang/multimodal_gen/.claude/skills/sglang-diffusion-benchmark-profile/scripts/bench_diffusion_denoise.py
关键动作：
- 添加 DIFFUSERS_FALLBACK_SIGNALS 常量，定义检测 fallback 的日志信号。
- 修改 build_sglang_cmd 函数，固定 --backend=sglang 参数。
- 扩展 run_benchmark_once 函数，改为流式输出并实时检测 fallback，新增 torch_compile 参数。
- 在 main 函数中添加 --no-torch-compile 命令行选项。
原因：强制使用 native backend 并防止误用 diffusers 数据；流式输出提高诊断能力；--no-torch-compile 支持 eager 模式比较。
影响：确保 benchmark 命令的一致性，并能在 fallback 时快速失败。
-
核心逻辑：代码片段示例
以下是 build_sglang_cmd 函数的整理后实现，展示了关键变更：
``python
def build_sglang_cmd(
model_key: str,
perf_dump_path: Optional[str] = None,
warmup: bool = True,
torch_compile: bool = True,
seed: int = 42,
save_output: bool = True,
) -> list[str]:
"""
构建sglang generate` 命令。
确保与 benchmark-and-profile.md 中的命令完全匹配。
"""
cfg = MODELS[model_key]
cmd = [
"sglang",
"generate",
f"--model-path={cfg['path']}",
f"--prompt={cfg['prompt']}",
"--backend=sglang", # 固定使用 native SGLang 后端，避免自动回退到 diffusers
"--log-level=info",
]
effective_seed = cfg.get("seed", seed)
if effective_seed is not None:
cmd.append(f"--seed={effective_seed}")
if "negative_prompt" in cfg:
cmd.append(f"--negative-prompt={cfg['negative_prompt']}")
if "image_path" in cfg:
cmd.append(f"--image-path={cfg['image_path']}")
cmd.extend(cfg["extra_args"])
if save_output:
cmd.append("--save-output")
if warmup:
cmd.append("--warmup")
if torch_compile:
cmd.append("--enable-torch-compile")
if perf_dump_path:
cmd.extend(["--perf-dump-path", perf_dump_path])
return cmd
```
-
文档配套更新
- 新增 testing-and-accuracy.md 参考文件，集中组件准确性测试细节。
- 更新多个 SKILL.md 文件，如 benchmark-and-profile.md、sglang-diffusion-performance/SKILL.md 等，同步 native backend 验证指导和测试入口点。
原因：保持文档与代码同步，提供清晰的测试和性能评估指南。
影响：提升技能文档的结构化和可维护性。
评论区精华
无实质性 review 讨论，PR 由作者直接合并，未产生技术交锋或设计权衡。
风险与影响
技术风险：
- 强制
--backend=sglang 可能导致某些模型在 native backend 不支持时无法运行，需确保后端兼容性。
- 流式输出可能增加轻微性能开销，但对 benchmark 影响有限。
- 缺少直接单元测试覆盖变更逻辑，可能引入未检测错误。
影响评估：
- 对开发者：必须更新技能使用方式，遵循新的验证流程，但能获得更准确的性能数据。
- 对系统：提升 benchmark 工具的可靠性，促进性能优化工作；文档更新提高一致性。
- 影响范围：主要限于使用 diffusion skills 的工程师，对最终用户透明。
关联脉络
从仓库近期历史 PR 分析：
- PR 22976 "[diffusion] refactor: extract LTX2 image encoding from denoising stage"：同属 diffusion 模块的技能重构，与本 PR 的文档更新协同，反映 diffusion 管道持续优化趋势。
- PR 22879 "[Diffusion] [NPU] Fix multimodal gen CI"：涉及 diffusion CI 测试修复，与本 PR 的 benchmark 技能更新在测试布局方面相关，显示团队对 diffusion 验证的重视。
这些关联表明，diffusion 模块正通过工具增强和文档刷新来提升性能和可靠性，本 PR 是这一演进方向的一部分。
参与讨论