将 forward 路径中的静态值提取到 __init__ 中缓存
该 PR 展示了如何系统地应用一项代码风格规则来消除冗余计算,对有志于代码质量的读者有参考价值。建议阅读以理解“Extract init-static values”规则的实际应用场景。
SGLang is a high-performance serving framework for large language models and multimodal models.
将 forward 路径中的静态值提取到 __init__ 中缓存
该 PR 展示了如何系统地应用一项代码风格规则来消除冗余计算,对有志于代码质量的读者有参考价值。建议阅读以理解“Extract init-static values”规则的实际应用场景。
提取调度器热路径的静态值到 __init__
值得合并。变更集小巧、验证充分、逻辑可审计。建议作为 "Extract init-static values" 系列的标准规范示例精读,学习如何安全地进行此类提取。
解除 CPU FLA 内核中 num_head_v 必须是 16 倍数的限制
建议阅读 `fla.cpp` 中 `cumsum_kernel` 的 AVX512 实现,了解如何通过 mask 和向上取整消除硬件向量宽度对齐限制。测试文件展示了 pytest 参数化的最佳实践。整体变更安全、清晰,值得参考。
回滚CPU AMX优化,修复FSDP推理崩溃
值得精读以理解 FSDP 加载器中 `process_weights_after_loading` 和 `device_loading_context` 的正确使用模式。设计决策关注:量化钩子必须幂等;设备上下文管理在 FSDP 下需谨慎。后续开发者应以此为鉴,测试需覆盖多 GPU + 量化场景。
消除调度器 batch 决策中的隐式副作用通道
值得精读。展示了系统化消除模块内部隐式耦合的设计模式,以及如何用 guard 测试强制执行架构恒量。对于从事调度系统或中间件开发的工程师有借鉴意义。
原始 PR · 作者 merrymercy · 合并时间 2026-07-10 08:55
新增可配置的 decode 请求回收策略
值得精读,尤其是 `_get_decode_retraction_order` 的设计和 `priority` 策略中的优先级方向处理。该 PR 为调度器引入了一种可扩展的回收策略机制,未来可以类似地添加更多策略。
调度器 cur_batch 字段局部化,仅看门狗使用
值得精读,展示了逐步消除全局状态、局部化依赖的典型模式,适合调度器等核心模块重构参考。
消除调度器中 cur_batch 的非必要读取
建议快速合入。本 PR 变更量小(4 行新增,5 行删除),每一步都附带了等价性证明和有意的行为变更说明。审核机器人提出的正确性担忧已被 PR 设计解决。对于关注调度器架构和状态管理的工程师,本 PR 展示了一个很好的增量式重构案例——通过逐步建立不变式来安全地清理字段依赖。
参与讨论