将 with_entropy_grad 判断下移到 get_log_probs_and_entropy
该 PR 为简单的清理性 bugfix,不需重点精读,但体现了代码复用和职责分离的良好实践。
slime is an LLM post-training framework for RL Scaling.
将 with_entropy_grad 判断下移到 get_log_probs_and_entropy
该 PR 为简单的清理性 bugfix,不需重点精读,但体现了代码复用和职责分离的良好实践。
优化 vocab 并行 logprob/entropy 计算,减少内存分配
建议精读 `slime/utils/ppo_utils.py` 中的 in-place 改造和 `sum_softmax_logits` 设计,是典型的 CUDA 显存优化模式。调用侧 `loss.py` 的改动简单,但测试容差变化值得关注。
更新 strands_sglang 示例至 0.4.2 API
建议使用 `strands-sglang` 集成或参考该示例的用户仔细阅读代码变更,特别是 `model.rollout` 的用法和内联解释器的实现。该 PR 展示了减少外部依赖、内联关键组件的设计思路。
融合 PPO logprob/entropy 计算,减少 allreduce 一半
建议团队成员精读 `_VocabParallelLogProbEntropy` 的 autograd 实现,作为融合通信的工程模式;同时也值得检查 CI 中新增的两个测试是否运行正常,确保数值稳定性。对于需要优化 PPO 训练性能的场景,此 PR 提供了解耦可复用的参考。
修复空 colocated weight buckets 导致 crash 的问题
该 PR 修复了一个重要的分布式同步 Bug,设计简洁且测试覆盖良好。建议合并后团队关注相关路径(`update_weight_from_tensor.py`、`update_weight_from_distributed.py`)是否存在类似假设,预防回归。同时,新增的单元测试值得作为后续类似功能的参考。
新增 Gemma4 密集型和 MoE 模型完整支持
该 PR 设计质量高,实现完整,测试覆盖全面。建议精读以下设计点:① `Gemma4Router` 中 renormalise-then-scale 的顺序决策(与 HF 一致);② `DualRotaryEmbedding` 拼接而非元组的设计理由;③ `_Gemma4LogitSoftcap` 使用 autograd Function 实现就地 softcapping;④ 通过 hook 而非子类化注入模型行为的选择。这些决策值得在其他模型支持中借鉴。
修复 top_p mask 性能问题
此 PR 为针对性的性能修复,改动量小且准确。建议相关人员了解该条件判断的引入原因,以便在 sglang 上游版本升级时同步。
修复 Megatron 服务器并行 update_from_disk 问题
值得精读,特别是锁和 future 的使用方式。建议在后续 PR 中补充对应的并发测试。
参与讨论