#6120 [sglang] feat: Patch sglang to support on-policy distillation teacher
原始 PR · 作者 mingruimingrui · 合并时间 2026-04-23 16:51
SGLang引擎支持在线策略蒸馏教师推理
建议精读此PR,尤其关注`_extract_prompt_logprobs_sglang`函数的设计——它清晰地展示了如何将SGLang的logprob输出格式对齐vLLM接口,是引擎适配的典范。值得关注的设计决策:采用硬断言而非防御性填充,在测试充分的前提下可保证数据质量,但生产环境中风险较高。建议后续添加单元测试覆盖异常情况。
参与讨论