#40841 [Frontend] DP Supervisor
原始 PR · 作者 yewentao256 · 合并时间 2026-05-22 11:33
引入 DP Supervisor 支持节点级多端口外部健康聚合
值得精读,尤其是 supervisor 的进程模型、信号转发和健康聚合方式。团队可在 K8s 部署中验证默认探针参数适配性。
A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 yewentao256 · 合并时间 2026-05-22 11:33
引入 DP Supervisor 支持节点级多端口外部健康聚合
值得精读,尤其是 supervisor 的进程模型、信号转发和健康聚合方式。团队可在 K8s 部署中验证默认探针参数适配性。
原始 PR · 作者 ruizhang99 · 合并时间 2026-05-22 11:32
为 OpenAI 端点添加截断方向控制
这是一个设计清晰的特性 PR,改动量小,覆盖了完整的参数传递与验证链路,值得前端开发者作为新增 endpoint 参数的参考模板。
原始 PR · 作者 divakar-amd · 合并时间 2026-05-22 11:17
为 CI 内存测试添加 warmup,修复 ROCm 基线波动
该 PR 价值专一且明确,值得快速合并。虽然实现简单,但体现了对平台差异的细致处理,测试稳定性维护的好范例。
原始 PR · 作者 simondanielsson · 合并时间 2026-05-22 11:06
为 MoRI 连接器添加 XGMI 后端,支持单节点无 RDMA KV 传输
建议阅读此 PR,特别是 review 讨论中关于配置方式的设计选择。它还展示了如何在不破坏向后兼容的前提下扩展现有连接器后端。对于 AMD ROCm 平台开发者,此 PR 是理解 MoRI 连接器架构的良好起点。同时,建议后续关注关联的文档更新 PR 和环境变量迁移 PR,以保持配置一致性。
修复 DSV4 Base 模型 FP8 MoE SwiGLU clamp limit 缺失
值得精读,尤其关注如何在多层抽象(quant_config → backend __init__ → activation 方法)中传递配置值,以及如何通过覆写 `activation` 方法而非侵入核心 kernel 来实现细粒度控制。讨论中关于 `SILU` 与 `SWIGLUOAI` 语义差异的分析也值得设计参考。
更新 Dockerfile 依赖关系图以通过 pre-commit
该 PR 是典型的维护性变更,无技术洞察价值,无需精读。感兴趣的读者可关注 PR #40848(可能是原 pre-commit 依赖图检查的引入者)和 PR #43283(Rust 前端集成)。
将 Rust 前端源码从外部仓库迁入主仓库
值得精读,特别是 git filter-repo 历史合并手法、CR 中指出的性能/安全案例可作为新代码 review 参考。设计上 `TransportMode` 枚举和 `EngineCoreClientConfig` 构建器模式值得学习。
一行修复 Mamba CUDA graph 填充行 is_prefilling 残留错误
值得精读,可作为 CUDA graph 元数据生命周期管理的典型修复案例。注意:Mamba 是唯一使用 `treat_short_extends_as_decodes=False` 的后端,此修复针对该特例。
参与讨论