AI-nyhederBo Zeng finder metode til hurtigere AI
Bo Zeng og fem forskere har fundet en smartere måde at rydde op i AI-hukommelsen, så chatbots svarer hurtigere uden at miste kvalitet.
Det er sket
Et forskerhold har set nærmere på, hvordan AI-modeller som ChatGPT holder styr på den samtale, de fører. Jo længere samtalen er, jo mere skal modellen huske – og det gør den langsommere. Forskerne bag undersøgelsen er Bo Zeng og fem kolleger, der har fundet en smartere måde at smide gammel information væk på. Deres metode kan få AI’en til at svare hurtigere, selvom den stadig skal kapere lange beskeder.
Den nye opdagelse
Tidligere har man bare fjernet de ældste data, når der blev for travlt. Men det kan give dårligere svar. Forskerne viser, at det er vigtigere at huske de rigtige ting – for eksempel det, der lignede vigtigst i samtalen – og at lægge flere lignende minder sammen. På den måde kan AI’en beholde overblikket og stadig finde de svar, den skal bruge, selv når den smider meget ud.
Hvad kan det bruges til?
Det lyder måske teknisk, men konsekvensen er helt praktisk: En AI-chatbot, der ellers ville kræve en dyr og kraftig computer, kan nu køre hurtigere på en almindelig maskine. Det kan betyde, at du i fremtiden kan få svar fra en kæmpe AI-model på din egen pc eller mobil – uden at den hakker, når du skriver lange beskeder.
- Forskerholdet testes metoden på store sprogmodeller for at se, hvordan den klarer sig.
- Metoden kaldes aggresiv KV-eviction og rydder aktivt op i modellens hukommelse.
- Forskerne fandt, at det er vigtigere at bevare vigtige data end bare at gemme nyt.
- Den nye tilgang kan forbedre hastigheden uden at øge computerkraften.
- Undersøgelsen er lavet af Bo Zeng og fem andre forskere.
Du kan i fremtiden få hurtigere og billigere AI-svar på din egen enhed, uden at kvaliteten falder.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.