arXiv-forskere: AI-opdateringer kan forringe svar

Ny forskning viser, at opdaterede AI-modeller ofte svarer dårligere på spørgsmål, de før klarede godt – og at det er umuligt at forudsige.

Opsdagelsen

Forskere bag et nyt studie på arXiv har undersøgt, hvad der sker, når AI-modeller opdateres til nyere versioner. Resultatet overrasker: Selvom den nye model generelt klarer sig bedre, kan den pludselig svare forkert på spørgsmål, hvor den gamle version var skarp. Fænomenet kaldes regression – og det rammer tilfældigt.

Umuligt at forudse

Holdet bag studiet ledte efter et fælles signal, der kunne afsløre, hvilke opgaver der ville gå galt. Men efter at have testet en lang række muligheder måtte de konkludere: Der findes ingen universel markør. Hver opdatering opfører sig forskelligt, og selv simple ændringer kan få modellen til at fejle på uventede steder.

Hvad betyder det for dig?

Når du bruger AI-værktøjer som ChatGPT, får du automatisk de nyeste versioner. Det betyder, at noget, der virkede perfekt i går, kan give et dårligere svar i dag – uden at du ved hvorfor. Studien understreger, at du ikke blindt kan stole på, at en opdatering kun gør tingene bedre.

Vejen frem

Forskerne peger på, at AI-udviklere bør teste langt grundigere, før de udruller nye versioner. De foreslår også, at brugere får mulighed for at vælge ældre versioner, hvis den nye opfører sig dårligere. Indtil videre er det vigtigste råd: Vær opmærksom på pludselige ændringer i kvaliteten.

Kilder:
arXiv cs.AI →

Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.