AI-nyhederGoogle optimerer AI-hukommelse med lærende system
Google-forskere har udviklet et system, der lærer at styre AI-hukommelse smart. Det gør store sprogmodeller hurtigere og billigere i drift.
Problemet
Store sprogmodeller bruger noget, der hedder KV-cache, når de kører. Det er en slags hukommelse, der vokser, hver gang AI'en arbejder. Efterhånden fylder den så meget, at det bremser hele systemet og gør det dyrt at køre i stor skala.
Løsningen
Forskerne bag det nye studie træner en AI til selv at administrere hukommelsen, i stedet for at bruge faste regler. Læringsmetoden betyder, at systemet hele tiden finder de bedste måder at frigøre plads på. Det giver både hurtigere svar og mindre ressourceforbrug.
Sådan virker det
Systemet observerer, hvordan hver enkelt AI-anmodning forløber, og lærer af mønstrene. Når en samtale afsluttes eller skifter emne, kan systemet forudsige, hvad der ikke længere er brug for. Det betyder, at hukommelsen aldrig bliver større end nødvendigt.
Hvad nu?
Arbejdet er stadig i forskningsfasen, men det peger mod, at fremtidens AI-systemer kan blive markant mere effektive. For virksomheder betyder det potentielt lavere el- og serveromkostninger. For brugerne kan det betyde hurtigere chatbots og andre AI-tjenester.
- Studiet handler om at styre KV-cache-hukommelse i AI-systemer.
- En AI lærer selv at administrere hukommelsen, i stedet for faste regler.
- Metoden kan reducere ressourceforbruget ved store sprogmodeller.
- Systemet observerer anmodninger og forudsiger, hvad der kan slettes.
- Forskningen er lavet af et team hos Google.
- Bedre hukommelsesstyring kan gøre AI billigere at drive i stor skala.
Når AI-systemer bliver bedre til at styre deres egen hukommelse, oplever du hurtigere svar fra chatbotten – og virksomhederne bag kan bruge færre servere, hvilket holder prisen nede.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.