AI-nyhederForskere bag LinearKV finder smutvej til hurtigere AI-svar
Ny AI-teknologi fra forskere bag LinearKV kan gøre chatrobotter hurtigere og billigere ved at genbruge en enkelt cachet tilstand.
Det nye trick
Forskerne har opdaget, at hybride AI-modeller kun behøver at gemme én enkelt tilstand i hukommelsen for at huske hele samtalen – i stedet for at gemme en hel bunke data. Det gør svar-tiden hurtigere og sparer kræfter, når du chatter med en AI.
Hvorfor virker det?
De fleste AI-modeller gemmer al historik i en såkaldt cache, hvilket kræver masser af plads. LinearKV viser, at man kan nøjes med én komprimeret tilstand, der alligevel fanger det vigtigste. Det betyder, at modellen kan svare hurtigere, selv ved lange samtaler.
Hvad kan det bruges til?
Tricket kan gøre AI-assistenter, der kører på din telefon eller i skyen, både hurtigere og billigere at drive. For dig betyder det kortere ventetid og måske lavere priser på AI-tjenester i fremtiden.
- LinearKV reducerer hukommelsesforbruget ved at cache en enkelt tilstand.
- Teknologien er designet til hybride AI-modeller med både hurtige og dybe lag.
- Position-uafhængig caching gør svarene robuste, uanset hvor i samtalen man er.
- Forskerne bag LinearKV har offentliggjort deres metode på arXiv.
- Metoden kan kombineres med eksisterende AI-modeller uden store ændringer.
Du får hurtigere svar fra AI-chatrobotter, og udbyderne sparer penge – måske falder prisen for at bruge dem.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.