AI-nyhederC$^3$PO: Ny AI-test afslører modellernes fejl
Forskere har udviklet C$^3$PO, en test der afslører, hvornår AI-modeller misforstår kombinationer af billeder, lyd og tekst.
Det er sket
En gruppe forskere har skabt C$^3$PO, en ny evalueringsmetode, der tester såkaldte omnimodale AI-modeller – dem der både forstår billeder, lyd og tekst på samme tid. Metoden går ud på at give modellerne modsatrettede informationer for at se, om de opdager fejlene. Det er første gang, man systematisk undersøger, hvordan modellerne klarer sig i den slags komplekse situationer.
Hvad finder de?
C$^3$PO afslører, at selv de bedste modeller har svært ved at kombinere information fra flere sanser, når tingene modsiger hinanden. For eksempel kan en model se et billede af en solnedgang, men høre en lyd af regn – og så misforstå scenen. Det viser, at modellerne ofte favoriserer én type information og ignorerer de andre, hvilket kan føre til alvorlige fejl i virkeligheden.
Hvorfor det betyder noget
Omnimodale modeller bliver brugt i alt fra selvkørende biler til oversættelsesværktøjer og assistenter. Hvis de ikke kan håndtere modsætninger, kan de give farlige svar – for eksempel hvis en bil misser en vejskilt, fordi den lytter til passagerens tale. C$^3$PO giver forskerne et redskab til at teste og forbedre modellerne, før de rulles ud.
- C$^3$PO er en ny test for AI-modeller, der kombinerer billeder, lyd og tekst.
- Metoden tester modellerne med modsatrettede informationer, såkaldte kontrafaktiske scenarier.
- Resultaterne viser, at modellerne ofte overser information fra én sansemodalitet.
- Forskerne bag metoden håber, at den kan bruges til at forbedre fremtidige AI-systemer.
- Testen er lavet af Swapnanil Mukherjee og kolleger, men er endnu ikke publiceret i et tidsskrift.
Du kan snart møde AI-assistenter og biler, der bedre forstår modsætninger – så de ikke misforstår, når billeder og lyde ikke passer sammen.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.