Ai2 deler GPU-tid ud som budgetter
Forskningsprojekter får en fast procent af clusterens tid i stedet for at kæmpe om prioriteringsniveauer.
Hver ledige GPU-time har 2-3 krav
På Ai2 står tusindvis af NVIDIA H100, B200 og B300 GPU'er i klynger på mellem 88 og 1024 GPU'er, drevet af AI-infrastrukturteamet til store, distribuerede træningsopgaver. Omkring 150 interne forskere deler kapaciteten.
Efterspørgslen overhaler udbuddet med en faktor 2-3. Hver eneste ledige GPU-time har 2-3 forskningsopgaver, som kæmper om den.
Teamet styrer sig selv efter fire mål i pynten: tilgængelighed (sund hardware), beskæftigelse (tildelt tid), impact (de mest værdifulde opgaver vælges) og udnyttelse (brugt GPU-kapacitet over arbejdsløbet). Artiklen handler om det tredje.
Alle opgaver endte som højeste prioritet
Den gamle planlægger arbejdede med prioriteringsniveauer, og opgaver kunne fravælge at blive afbrudt. Forskere parkerede inaktive GPU-opgaver, som de kunne koble på senere, fordi de ikke kunne starte fejlfindingskørsler hurtigt nok.
Samtidig endte 100 % af de planlagte opgaver med at køre på niveauet HIGH. Lavere niveauer fik slet ingen GPU-tid, og vagtteamet brugte størstedelen af billettiden på at forhandle lukning af ikke-afbrudelige opgaver.
Ai2 kalder mønsteret » tragediens fælleseng «: den enkelte maksimerer sit eget udbytte af en knap fælles ressource, og resultatet bliver dårligt for alle.
Chefer fordelte tid før opgaverne fandtes
Prædiktion af efterspørgsel kræver kendskab til resultatet af nye videnskabelige eksperimenter og kan ikke forudsiges præcist. Prioritet er derimod en strategisk beslutning, som kan debatteres på forhånd.
Teamet skiftede derfor fra at tildele GPU-ejerskab til at tildele en andel af GPU-tiden. Chefer fordeler procentvise andele ned gennem hierarkiet, før arbejdsopgaverne overhovedet findes.
Et projekt med 35 % andel har krav på 35 % af samlet kapacitet, uanset hvor mange andre projekter der står i kø andre steder.
Gamle ressourceproblemer overlever nye maskiner
Fordeling af fælles ressourcer er et gammelt forskningsfelt. I Dominant Resource Fairness fra 2011 fortæller Ghodsi og kolleger om et søgefirma, der kun gav dedikerede maskiner til job med garanteret høj udnyttelse – og opdagede, at brugerne skrev uendelige løkker i koden for at puste tallet op.
Hardwaren skifter, men de grundlæggende incitamenter består. Ai2's svar er at gøre ejerskabet finere: tildel tid i stedet for maskiner, og lad planlæggeren bruge budgettet, når opgaverne kommer.
Flere detaljer
- Klyngerne hos Ai2 spænder fra 88 til 1024 GPU'er.
- Arbejdsområder omfatter LLM- og VLM-træning, robot-RL-simulation og eftertræning.
- Ai2 har også indført en tidsdelingskontrakt (time-slicing) i det nye system.
Kilder:
Hugging Face →
Genfortalt i egne ord af AI-nyheder.com · AI-genereret illustration · Tjek altid originalkilden, før du handler på vigtige oplysninger.