AI-nyhederSergii Kozyrevs Minima-KV: Ny AI-teknik sparer hukommelse og bevarer viden
Forskere har udviklet Minima-KV, en metode til AI-modeller, der komprimerer data og sparer hukommelse uden at miste vigtig information.
Det nye trick
Når en AI-chatbot som ChatGPT arbejder, holder den styr på samtalen i såkaldte KV-caches - en slags korttidshukommelse. Minima-KV pakker disse data smartere ved at bruge blandede formater, så modellen husker det vigtigste, selv når hukommelsen skrumper. Det gør det muligt at køre store sprogmodeller på mindre plads.
Hvorfor det rager dig
Jo mindre hukommelse AI'en bruger, jo billigere og hurtigere bliver den at køre i praksis. Det betyder, at du i fremtiden kan få mere avancerede chatbots og assistenter på din telefon eller computer, uden at de fryser eller bruger en formue på serverkapacitet.
Forskningens status
Minima-KV er endnu ikke frigivet som færdigt produkt, men arkivet viser, at forskerne har afprøvet metoden på flere modeller og fået positive resultater. Næste skridt er at integrere teknikken i eksisterende AI-systemer, og det kan gå hurtigt, når først koden bliver offentlig.
- Minima-KV komprimerer KV-caches ved at blande forskellige dataformater.
- Metoden bevarer vigtig information, selv når hukommelsen er presset.
- Teknikken kan gøre store sprogmodeller billigere at køre.
- Forskerne bag er Sergii Kozyrev og to kolleger.
- Resultaterne er offentliggjort på arXiv under cs.AI.
- Oplægget bruger paginated attention til at håndtere data effektivt.
Når AI-modeller bliver mindre hukommelseskrævende, kan du få smartere assistenter på almindelige enheder - uden at de bliver langsommere eller dyrere.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.