Hugging Face 推出约束感知 GPU 分配器:同集群利用率最高提升 33 个百分点
Hugging Face 构建了约束感知的 GPU 分配器,在七个基准场景中与 FIFO 调度器对比,相同硬件和负载下 GPU 利用率最高提升 33 个百分点,优先级加权产出在每个场景均有提升,最高达 105%。
Hugging Face 构建了约束感知的 GPU 分配器,在七个基准场景中与 FIFO 调度器对比,相同硬件和负载下 GPU 利用率最高提升 33 个百分点,优先级加权产出在每个场景均有提升,最高达 105%。
Hugging Face 发文指出,AI 的下一个真正约束不是智能而是 GPU 利用率,闲置 GPU 如同停飞的飞机,成本按日历小时累积而产出只按计算小时计。文章以 2020 年微软为 OpenAI 搭建的含超 10,000 块 GPU、285,000 个 CPU 核心的超级计算机为例,说明算力稀缺已从模型转向计算资源。