AI-nyhederNyt AI-trick fra ChatGPT-forskere gør modeller hurtigere og lettere
Forskere bag ChatGPT har fundet en metode til at gøre AI-modeller hurtigere og mindre uden at miste kvalitet. Teknikken kan betyde, at AI kører direkte på din telefon.
Hvad er nyt?
AI-modeller som dem bag ChatGPT er enorme og kræver massive servere. Nu har forskere udviklet en metode med bandit-pruning, der klogt fjerner unødvendige dele af netværket. Pruning sker så skånsomt, at modellen beholder sin intelligens, mens den bliver mindre og hurtigere.
Virkelighedens problem
De fleste AI-modeller lavet til tekster og billeder er bygget til kraftige computere. Men din telefon eller bærbare har langt mindre hukommelse og strøm. Netop derfor er forskernes fund vigtigt: Hvis modeller kan trimmes uden at lide for meget, kan de køre på helt almindelige enheder.
Hvordan virker det?
Metoden vurderer løbende, hvor meget skade hver enkelt del af modellen lider, hvis den fjernes. Lidt som at fjerne maskindele, der ikke er nødvendige for at bilen kører. Ved at fjerne de mindst vigtige ting først bliver modellen lettere men stadig skarp.
Hvad betyder det?
Hvis teknikken bliver standard, kan du måske snart bruge avancerede AI-apps helt uden internetforbindelse. Derudover sparer det energi – en kæmpe fordel, fordi AI i dag bruger enorme mængder strøm i datacentre verden over.
- Forskerne bag studiet kommer fra miljøet omkring ChatGPT, som laver sprogmodeller.
- Metoden hedder Damage-Aware Bandit Pruning.
- Den fjerner unødvendige dele af AI-modellen for at gøre den hurtigere og mindre.
- Målet er at få store sprog- og billedmodeller til at køre på svagere enheder som telefoner.
- Det kan også mindske energiforbruget i datacentre.
- Metoden balancerer mellem at fjerne dele og bevare modellens evner.
Med denne forskning kan du snart få AI-modeller til at køre lokalt på din telefon – hurtigere og uden konstant internetadgang.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.