SpecPrefetch: Ny teknik gør AI-svar 30 pct hurtigere
Forskere har udviklet SpecPrefetch, en metode der forudser, hvilke dele af en MoE-AI-model der skal bruges, og sparer tid.
Hvad er problemet?
Store sprogmodeller som dem, der driver ChatGPT, er bygget op af mange små eksperter – moduler, der hver især klarer en bestemt opgave. Når modellen skal svare, vækker den kun nogle få eksperter ad gangen, men den skal først finde ud af hvilke, og det tager tid.
Løsningen
Forskernes nye metode, SpecPrefetch, gætter på, hvilke eksperter der bliver brugt i næste skridt, og begynder at hente dem, før de faktisk er nødvendige. Det minder om en kok, der forbereder råvarerne til næste ret, mens gæsterne stadig spiser forretten.
Hurtigere uden ekstra omkostninger
SpecPrefetch kræver ikke flere regnekræfter eller mere hukommelse, men gør modellerne 30 procent hurtigere. Det betyder, at AI-svar kan komme lynhurtigt, selv på mindre kraftfulde computere.
Hvad nu?
Metoden kan bruges på alle sprogmodeller, der arbejder med eksperter. Det gør AI både hurtigere at træne og billigere at køre – en gevinst for både store firmaer og almindelige brugere.
- SpecPrefetch forudsiger, hvilke eksperter der skal bruges i næste lag.
- Metoden kræver ikke ekstra hukommelse eller regnekraft.
- Den er testet på store MoE-modeller (Mixture of Experts).
- Forskernes metode bygger på en let forudsigelsesmaskine.
- SpecPrefetch kan sænke ventetiden markant ved AI-svar.
Du får hurtigere svar fra chatbots og andre AI-værktøjer, uden at de bliver dyrere i drift.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.