AI-nyhederForskere: AI-svar kan blive 3 gange hurtigere
Et års data fra AI-tjenester viser, hvordan man kan udnytte gentagne spørgsmål – og skære svartiden drastisk.
Det er sket
Forskere har fulgt trafikken hos AI-assistenter i et helt år for at se, hvordan folk rent faktisk bruger dem. Det vigtigste fund: Mange spørgsmål gentager sig selv, især i arbejdstiden. Det betyder, at systemerne kan genbruge tidligere svar i stedet for at regne alt ud fra bunden.
Det nye
Ved at gemme svar fra lignende spørgsmål – det kaldes caching – kan tjenesterne springe de tunge beregninger over. Undersøgelsen viser, at det kan gøre AI-svar op til 3 gange hurtigere, når mange stiller næsten samme spørgsmål. Samtidig kan systemet fordele opgaverne smartere mellem flere servere.
Hvad nu?
For dig som bruger betyder det kortere ventetid, når du chatter med en AI. For udbyderne betyder det lavere el-regning og mindre pres på maskinerne. Metoden er dog kun effektiv, hvis mange stiller lignende spørgsmål – præcis sådan som det sker på arbejdspladser og i undervisning.
- Forskere fra William Nixon og kolleger observerede AI-tjenester i et år.
- Mange brugere stiller gentagne spørgsmål, især i arbejdstiden.
- Caching genbruger tidligere svar og sparer tunge beregninger.
- Smart belastningsfordeling fordeler opgaver mellem servere.
- Metoden kan reducere svartiden betydeligt uden ny hardware.
Når du snart spørger en AI om noget, kan du opleve at få svar på få sekunder i stedet for at vente – samtidig med at tjenesten bliver billigere for udbyderen.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.