LoRA kan ikke lære flertrinsprocedurer
Forskere har opdaget, at finjusteringsmetoden LoRA ikke kan lære rækkefølger af handlinger som madopskrifter.
Opdagelsen
Forskere har opdaget, at den populære finjusteringsmetode LoRA har en blind vinkel. Metoden, der bruges til at specialtræne store sprogmodeller, kan nemlig ikke lære flertrinsprocedurer – altså rækkefølger af handlinger, som kræver flere logiske skridt.
Hvorfor er det et problem?
Mange praktiske opgaver kræver præcis den type viden – for eksempel at følge en madopskrift, udfylde en blanket eller programmere en funktion. Hvis LoRA ikke kan gengive proceduren korrekt, vil AI'en ofte hoppe over mellemregninger eller lave fejl i rækkefølgen.
Hvad er alternativet?
Forskerne bag studiet peger på, at andre finjusteringsmetoder, som for eksempel fuld finjustering, stadig kan lære procedurerne. Løsningen er altså ikke at droppe AI, men at vælge den rigtige metode til opgaven – især når præcision i flere trin er vigtig.
- LoRA står for Low-Rank Adaptation og er en billig måde at finjustere AI-modeller på.
- Metoden fungerer dårligt, når AI'en skal lære sekvenser af flere logiske handlinger.
- Problemet opstår, fordi LoRA antager, at viden kan pakkes sammen i få dimensioner.
- Procedurer som madlavning eller kodekrævning består af mange trin, der ikke kan komprimeres.
- Fuld finjustering kan stadig lære flertrinsprocedurer, men kræver mere computerkraft.
- Forskerne testede på flere typer opgaver og fandt samme begrænsning hver gang.
Hvis du bruger AI til opgaver med flere trin – som at skrive kode eller følge en opskrift – kan LoRA give upålidelige resultater. Vælg i stedet en stærkere finjusteringsmetode.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · AI-genereret illustration · Tjek altid originalkilden, før du handler på vigtige oplysninger.