修复Ray下NUMA绑定错选GPU的问题
值得合并,修复明确,风险可控。建议关注 PyTorch 版本更新对该内部 API 的影响,并及时更新 fallback 逻辑。
标签列表
聚合结果
修复Ray下NUMA绑定错选GPU的问题
值得合并,修复明确,风险可控。建议关注 PyTorch 版本更新对该内部 API 的影响,并及时更新 fallback 逻辑。
为Ray调度器Actor添加GPU本地NUMA绑定,提升多GPU场景性能。
该PR值得精读,重点关注NUMA绑定在Ray Actor中的实现方式,以及如何复用现有工具函数确保与V1/V2路径的互补性。设计决策展示了在分布式环境中处理进程绑定的优雅方案。
修复Ray多副本服务中调度器Actor名称冲突,支持多副本部署。
该PR值得精读,重点关注调度器Actor命名唯一性的设计决策:如何利用Ray Placement Group的自然属性(ID和Bundle索引)作为后缀,既避免冲突又无需引入额外状态管理。同时,注意端口配置的调整可能反映更精细的通信策略。
RayEngine 在未检测到 placement group 时自动创建,简化部署流程。
该 PR 值得精读,特别是对于使用 Ray 部署 SGLang 的工程师。关注点包括:自动计算 GPU 需求的逻辑、placement group 策略选择(STRICT_PACK vs SPREAD)、以及 review 中提到的未解决问题(如 `_ACTOR_RUNTIME_ENV` 变量)是否在其他 PR 中处理。
原始 PR · 作者 Qiaolin-Yu · 合并时间 2026-04-16 06:08
修复 Ray 模块代码格式问题,移除多余括号和换行以符合 lint 规范。
该 PR 不值得精读,除非您关注代码风格规范或 Ray 模块的详细实现。可快速浏览以确认无意外逻辑变更。关注点在于团队如何通过小规模重构保持代码整洁。
为Ray后端添加数据并行和DP注意力支持
值得精读,尤其关注`RayDataParallelController`的设计模式(在子类构造函数中预先设置属性再调用父类构造器以覆盖方法)以及ZMQ安全绑定策略。建议后续将手动测试转化为CI任务(至少nightly),避免回归。