Nyt studie: AI-assistenter fejler oftere end antaget

Forskere har undersøgt, hvorfor AI-værktøjer som ChatGPT fejler, når de bruger eksterne programmer. Svaret ligger ikke i prompten, men i selve 'stellet' omkring modellen.

Det nye fund

Forskere har opdaget, at problemer med AI-assistenter ofte skyldes noget andet end de instruktioner, man giver. Hele tekniske rammen – kaldet 'harness' – som styrer, hvordan AI'en bruger eksterne værktøjer, kan være fejlkilden. Det forklarer, hvorfor en simpel ændring af prompten ikke altid løser problemerne.

Hvorfor det betyder noget

Når du bruger en AI-assistent til at bestille en rejse eller hente oplysninger fra internettet, så er det et komplekst system, der arbejder bag kulissen. Opdagelsen kan hjælpe udviklere med at bygge mere pålidelige assistenter, der ikke så ofte laver fejl, når de skal bruge værktøjer som regnemaskiner eller websøgninger.

Hvad betyder det for dig

Forhåbentlig betyder det, at du i fremtiden oplever færre mærkelige svar fra din AI-assistent, når du beder den om at lave noget praktisk. Forskningen viser, at der er plads til forbedringer, og at de kan løses ved at optimere hele systemet – ikke kun ved at skrive bedre prompter.

Kritikere og begrænsninger

Studiet er stadig nyt og har ikke været igennem alle kollegiale vurderinger endnu. Forskerne testede primært på nogle få modeller, så det er uvist, om resultaterne gælder for alle AI-systemer. Flere tests er nødvendige, før vi ved, hvor stor en del af fejlene, der virkelig skyldes selve stellet.

Kilder:
arXiv cs.AI →

Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.