AI-nyhederTest: GPT-2 og BERT på NVIDIA og AMD
Forskere har målt strømforbruget, når GPT-2 og BERT kører lokalt på NVIDIA- og AMD-kort. Resultaterne viser store forskelle.
Det er sket
Forskere har kørt populære AI-modeller som GPT-2 og BERT på almindelige grafikkort fra NVIDIA og AMD og målt, hvor meget strøm de bruger. Det er første gang, nogen laver en grundig sammenligning af energiforbruget, når AI kører direkte på din egen maskine – ikke i skyen.
De vigtigste tal
Testen viser, at mindre modeller sparer op til 65 % strøm sammenlignet med de største. Overraskende nok er forskellen mellem grafikkortene også markant: Det dyreste kort er ikke altid det mest effektive. Faktisk klarer et mellemklassekort sig bedst, når man ser på strøm pr. svar.
Hvad betyder det?
For dig, der bruger AI til eksempelvis tekstopsummering eller billedgenerering på din egen computer, betyder det, at du kan sænke din elregning og dit klimaaftryk. Valget af model og grafikkort har nemlig stor betydning. Du behøver ikke købe det dyreste udstyr for at få effektiv AI.
Kritik og næste skridt
Forskerne kalder selv testen for foreløbig, fordi de kun har testet nogle få modeller og kort. Fremtidige tests bør se på nyere hardware og flere opgaver. Men allerede nu giver resultaterne et vigtigt fingerpeg: Strømforbrug bør være en del af dit valg, når du vælger AI-udstyr.
- Testen dækker modeller som GPT-2 og BERT.
- Grafikkort fra NVIDIA og AMD er med i sammenligningen.
- Mindre modeller bruger markant mindre strøm.
- Mellemklassekort kan være mere effektive end dyre kort.
- Forskerne opfordrer til flere tests med nyere hardware.
- Energiforbrug bør tælle med ved valg af AI-hardware.
Du kan spare strøm og penge ved at vælge en mindre AI-model og et mellemklassekort – i stedet for at købe det dyreste.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.