Srihari Unnikrishnan: KVBoost gør AI hurtigere

Forsker Srihari Unnikrishnan har udviklet KVBoost, der lader AI-chatbots genbruge tidligere beregninger og kun genberegne ved afvigelser. Det gør AI hurtigere og billigere.

Det nye trick

Når en AI-chatbot som ChatGPT svarer, laver den en masse gentagne beregninger – især når den bliver stillet næsten samme spørgsmål. KVBoost, udviklet af forskeren Srihari Unnikrishnan, gemmer resultaterne i en såkaldt key-value cache og genbruger dem i bidder. Kun når indholdet afviger meget fra det gemte, genberegner systemet – det sparer tid og kræfter.

Hvorfor det virker

Tricket er en smart afvejning: AI’en genbruger en hel bid af tidligere beregninger, hvis den minder om det nye spørgsmål. Hvis afvigelsen er for stor, starter den forfra. Det betyder, at den ikke spilder tid på at gentage arbejde, men heller ikke giver forkerte svar. I praksis kan det gøre store sprogmodeller hurtigere og mere effektive, især når mange brugere spørger om lignende ting – som i en kundeservice-chat.

Hvad nu?

KVBoost er stadig på forskningsstadiet, men ideen kan blive vigtig for virksomheder, der kører AI i stor skala. Færre genberegninger betyder lavere strømforbrug og hurtigere svar til brugeren. Det kan også gøre det muligt at køre avancerede AI-modeller på mindre kraftfuld hardware – noget, der i dag er en stor barriere for mange små virksomheder.

Kilder:
arXiv cs.AI →

Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.