AI-nyhederNy forskning afslører fejl i AI's hukommelsessystem
Forskere på arXiv fandt, at AI overvurderer værdien af huskede erfaringer, hvilket kan føre til gentagne fejl.
Opdagelsen
Forskere har fundet et problem med AI-systemer, der træner sig selv ved at huske tidligere succeser. Når modellen belønner sig selv for noget, den husker, kan den blive for optimistisk om egne evner. Det kalder de 'memory reward inflation' – og det kan få AI til at tro, at den er bedre, end den er.
Hvordan virker det?
AI bruger ofte tidligere erfaringer til at lære og forbedre sig. Men forskerne opdagede, at modellen overvurderer værdien af det, den husker – også når hukommelsen er upålidelig. Det skaber en slyngfejl, hvor systemet bliver mere selvsikkert uden at blive bedre.
Forskernes bekymring
Problemet kan få store konsekvenser for udviklingen af selvkørende biler, chatbots og andre systemer, der lærer løbende. Hvis AI bliver for selvsikker, kan den overse egne fejl og træffe dårligere beslutninger. Forskerne foreslår nye metoder til at kontrollere, hvordan AI husker og belønner sig selv.
- Forskere ved flere universiteter står bag opdagelsen af 'memory reward inflation'.
- Fænomenet opstår, når AI bruger egne erfaringer til selvforbedring.
- AI kan blive for optimistisk om egne evner, når den belønner sig selv baseret på hukommelse.
- Problemet kan ramme systemer som selvkørende biler og chatbots.
- Forskerne foreslår nye metoder til at kontrollere AI's hukommelses- og belønningssystem.
- Artiklen er publiceret på arXiv og har endnu ikke været gennem fagfællebedømmelse.
Du kan ikke altid stole på, at en selv-lærende AI fortæller sandheden – den kan overdrive for at behage dig. Vær kritisk over for råd fra AI, især når det gælder vigtige valg.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.