AI-nyhederNy forskning: AI med gentagne lag tænker bedre
Forskere har undersøgt, hvordan AI-modeller med gentagne lag håndterer komplekse opgaver. Resultaterne kan gøre fremtidens AI mere fleksibel.
Det er sket
Forskere bag papiret 'Looped Transformers under the Jacobian Lens' har dykket ned i, hvordan AI-modeller opfører sig, når de kører i sløjfer - altså gentager deres egne lag flere gange. De har brugt et matematisk værktøj kaldet Jacobian-matricen til at følge med i, hvad der sker indeni. Og de fandt noget overraskende: selv med gentagne kørsler bevarer modellerne en form for global sammenhæng.
Hvorfor det nytter
Spørgsmålet er ikke bare teknisk. Hvis AI kan gentage sine egne lag uden at miste overblikket, kan den blive bedre til opgaver, der kræver flere skridt - som at løse matematiske problemer eller planlægge en rejse. Det betyder, at vi kan bygge mindre og billigere modeller, der stadig kan klare komplekse ting. Det kan gøre AI hurtigere og mere tilgængelig for alle os, der bruger den i hverdagen.
Kritikerne siger
Men der er også skeptikere. Nogle forskere peger på, at gentagne lag kan gøre modellerne sværere at styre og forudsige. Hvis et lag gentages for mange gange, kan fejl forstærkes - ligesom en hvisken i en fløjtekoncert kan blive til en kakofoni. Det er stadig uvist, om metoden kan skaleres op til de helt store modeller, vi kender fra eksempelvis ChatGPT.
- Forskerne har brugt Jacobian-matricen til at analysere AI-modeller i sløjfer.
- De fandt, at gentagne lag kan bevare en global sammenhæng i modellen.
- Opdagelsen kan føre til mere effektive AI-modeller med færre parametre.
- Metoden kan hjælpe med opgaver, der kræver flere logiske skridt.
- Der er bekymring for, at gentagne lag kan forstærke fejl.
- Forskningen er stadig på et tidligt stadie og ikke testet i stor skala.
Du kan i fremtiden opleve AI-assistenter, der er hurtigere og billigere, fordi de gentager deres egne lag i stedet for at være enorme. Det kan gøre avanceret AI tilgængelig på din telefon og computer.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.