AI-nyhederLeonard Twagirayezu: AI kan koges ned og gemme strøm
Ny metode finder og beskytter de vigtigste AI-kredsløb, så energiforbruget falder uden tab af intelligens.
Opdagelsen
Forsker Leonard Twagirayezu og en kollega har set nærmere på, hvordan store sprogmodeller bruger energi. De har fundet ud af, at visse 'ræsonnement-kredsløb' er ekstra vigtige, når AI'en skal tænke logisk. Hvis man passer ekstra godt på dem, kan man skære voldsomt ned på størrelsen af modellen.
Metoden
Metoden hedder Reasoning-Aware Compression. Den virker ved at finde de skrøbelige kredsløb, der går i stykker, hvis man fjerner for meget. Dem beskytter man, mens resten af AI'en bliver komprimeret hårdt. Resultatet er en mindre og hurtigere model, der stadig kan regne tingene rigtigt ud.
Hvad det kan bruges til
Store sprogmodeller bruger enorme mængder strøm, især når de svarer på spørgsmål. Hvis udviklere kan bruge Twagirayezus metode, kan de køre AI på almindelige telefoner og computere i stedet for kæmpe servere. Det kan gøre ChatGPT og lignende tjenester meget billigere og grønnere i fremtiden.
- Forskeren bag er Leonard Twagirayezu, og artiklen er lagt på arXiv.
- Metoden kaldes Reasoning-Aware Compression.
- Den handler om at finde og beskytte de vigtigste ræsonnement-kredsløb.
- Komprimering gør AI-modeller mindre og hurtigere uden at ødelægge logikken.
- Det kan sænke energiforbruget markant ved brug af store sprogmodeller.
Med denne metode kan de AI-tjenester, du bruger dagligt, blive hurtigere og bruge meget mindre strøm i fremtiden.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.