为 Grafter 添加端到端测试与日志快照
建议团队关注 review 中的版本兼容性建议并在后续 PR 中修复;`_Grafter` 的设计模式(`GraftTransformInput` 数据类、`_default_transform` 可插拔回调)值得在类似跨进程通信场景中复用。
SGLang is a high-performance serving framework for large language models and multimodal models.
为 Grafter 添加端到端测试与日志快照
建议团队关注 review 中的版本兼容性建议并在后续 PR 中修复;`_Grafter` 的设计模式(`GraftTransformInput` 数据类、`_default_transform` 可插拔回调)值得在类似跨进程通信场景中复用。
增强 Grafter 日志:输出张量信息和差异对比
值得合入,为 Grafter 工具提供了关键的调试可见性。建议阅读 `_compare_tensors_quick` 和 `_calc_rel_diff` 的实现,理解其设计思路(内联避免依赖、fp32 统一 dtype)。
dumper grafter 支持 per-call extras 和 dataclass 输入
建议开发者精读此 PR,特别是 GraftTransformInput 的设计模式和 per-call extras 的实现思路,可作为内部调试工具 API 设计的参考。合并前应修复 review 中提出的进程组 rank 问题,否则可能导致静默错误。
支持 dumper grafter 多 rank 全收集交换
值得精读,尤其是 `maybe_intercept` 的改进和多 rank 测试的实现方式。该 PR 展示了如何从简单 broadcast 迁移到 all_gather 以实现多 rank 收集,以及如何使用 CPU 多进程模拟多 rank 环境进行测试。
支持用户自定义 grafter 接收端张量变换函数
值得精读。该 PR 展示了如何在分布式调试工具中安全地支持用户自定义钩子,异常处理设计巧妙。同时应关注 review 中提出的多进程 rank 问题,确保未来扩展方向正确。
新增张量 graft 双向传输与重叠保护
PR 的设计思路(方向枚举+分类+重叠保护)清晰且值得参考。但合并前未解决 review 指出的多进程关键问题,实际使用存在风险。建议关注后续修复 PR(如 #24509 等)是否妥善解决了分布式通信正确性问题。
实现跨系统张量嫁接(grafter)功能
该 PR 引入了有意义的跨系统张量嫁接功能,设计上通过配置注入和过滤机制保持了与原有 dumper 的低耦合。但由于评论中提到的异常安全、性能、可扩展性等问题尚未解决,建议在进一步使用前关注后续的改进 PR。若要深入理解 grafter 机制,可重点阅读 `_Grafter` 类和 `DumperConfig` 的配置校验。对于生产环境使用,建议等待异常处理和性能优化完善后再启用。
引入集中式 _log 函数,统一 dumper 日志格式
值得合并,代码逻辑清晰且测试覆盖到位。建议后续跟进 review 中的多行前缀改进和删除 .gitignore 中无关变更。
参与讨论