Hugging Face Blog·· 22 天前
用 Hugging Face Jobs 跨机跑 Async GRPO 与 LoRA:一个存储桶、一个代理、不用 NCCL
Async GRPO with LoRA across HF Jobs: a bucket, a proxy, and no NCCL
SI 导读
Hugging Face 博客介绍如何在 Hugging Face Jobs 上跨机运行 AsyncGRPOTrainer:训练 Job 只把 LoRA adapter 写入 Storage Bucket,两个 vLLM Job 从同一挂载路径读取,代理负责加鉴权头、按 KV 前缀路由 rollout 并把 adapter 加载广播到所有副本,全程不需要 NCCL。
精选SI 评分60
推荐理由
原文给出跨机异步 GRPO 的完整工程配方与五轮瓶颈定位数据,可迁移到自建 RL 训练流水线。
来源:Hugging Face Blog · huggingface.co