Prhub

#25522 Fix logging for inplace setting in the flashInfer-trtllm backend

原始 PR 作者 ch-wan 合并时间 2026-05-17 17:20 文件变更 1 提交数 1 评论 2 代码增减 +2 / -1

执行摘要

修复 FlashInfer TRTLLM backend 日志重复输出

PR body 未详细说明动机。但从变更内容看,目的是消除在 FlashInfer-TRTLLM MoE backend 初始化时反复输出 'Setting inplace to False' 日志的问题,提升日志可读性。

该 PR 为简单维护性变更,无需详细审查。

讨论亮点

无 review 讨论。

实现拆解

  1. 在文件头部的导入块中新增 print_info_once 的导入,替代原有的 logging 模块。
  2. __init__ 方法中,将原先的 logging.info("Setting inplace to False for FlashInfer TRTLLM MoE backend.") 替换为 print_info_once(...),确保该提示信息仅在首次调用时输出。
文件 模块 状态 重要度
python/sglang/srt/layers/moe/fused_moe_triton/layer.py MoE 层 modified 3.94

关键源码片段

python/sglang/srt/layers/moe/fused_moe_triton/layer.py core-logic

唯一的变更文件,修改了导入和日志调用,影响 FlashInfer-TRTLLM backend 的日志行为。

# 导入部分:新增 print_info_once 工具函数
from sglang.srt.utils import (
    cpu_has_amx_support,
    get_bool_env_var,
    is_cpu,
    is_hip,
    print_info_once, # <-- 新增导入,用于单次打印
    round_up,
)# __init__ 方法中 inplace 设置日志的变更
if (
    get_moe_runner_backend().is_flashinfer_trtllm_routed()
    or get_moe_runner_backend().is_flashinfer_trtllm()
):
    if self.moe_runner_config.inplace:
        # 原 logging.info 替换为 print_info_once,避免每次初始化重复打印
        print_info_once(
            "Setting inplace to False for FlashInfer TRTLLM MoE backend."
        )
    self.moe_runner_config.inplace = False

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

风险极低:仅改变了日志打印行为,不影响任何逻辑判断或运行结果。print_info_once 确保消息只打印一次,避免重复日志。

影响范围小:仅影响使用 FlashInfer-TRTLLM MoE backend 且配置了 inplace 的场景。用户日志中该提示将不再重复出现。

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论