AI-nyhederCong Cao fra MIT: Lav fejlrate kan skjule fejlagtige årsager
Forsker Cong Cao fra MIT har opdaget, at AI-modeller kan have lav fejlrate og alligevel tage fejl om, hvad der forårsager et resultat. Det har betydning, når AI bruges i beslutninger om fx behandling eller lån.
Det nye fund
Når AI-modeller som dem bag ChatGPT trænes, måles succes ofte på, hvor sjældent de rammer forkert. Men forsker Cong Cao fra MIT har opdaget, at en model kan have lav fejlrate og alligevel tage grueligt fejl om, hvad der egentlig forårsager et resultat. Det sker, når modellen lærer at genkende mønstre i data, der ikke har noget med årsagssammenhænge at gøre.
Hvorfor det er vigtigt
For almindelige mennesker betyder det noget, når AI bruges til at beslutte, om en patient skal have en bestemt behandling, eller om en person skal have godkendt et lån. Causal estimation er et statistisk værktøj, der skal sikre, at AI ikke bare ser sammenhænge, men faktisk forstår, hvad der virker - og hvorfor. Uden den forståelse kan AI træffe forkerte beslutninger, selvom den ellers ser sikker ud.
Kritikken af fejlmåling
Forskeren argumenterer for, at ren prædiktionsfejl - altså hvor ofte modellen rammer ved siden af - ikke siger noget om, hvor godt modellen klarer sig i en kausal analyse. I stedet bør man se på, hvordan modellen håndterer såkaldte nuisance-funktioner, som er de dele af beregningen, der skal kontrolleres for at finde den sande effekt. Cao viser, at en model kan fejle på disse funktioner og stadig se godt ud på overfladen.
Hvad vi kan bruge det til
Studiet peger på, at AI-udviklere bør skifte fokus fra at optimere alene på nøjagtighed til at teste, om modellen kan forudsige de rigtige mellemregninger. Det kan føre til mere pålidelig AI i alt fra medicin til økonomi, hvor årsagssammenhænge er altafgørende. For dig som bruger betyder det, at fremtidens AI måske bliver bedre til at skelne mellem, hvad der bare ser ud til at virke, og hvad der faktisk gør en forskel.
- Forsker Cong Cao fra MIT har skrevet studiet med titlen 'When Prediction Error Is Not Enough'.
- Studiet sætter fokus på nuisance-funktioners rolle i kausal estimation.
- Det viser, at lav prædiktionsfejl ikke altid betyder, at en model forstår årsager.
- Fejl i nuisance-funktioner kan overses, når man kun tæller samlet fejlrate.
- Anbefalingen er nye evalueringsmetoder for AI-modeller, der skal bruges til kausal analyse.
Når AI bruges til at vurdere, om en behandling virker, eller om du er kreditværdig, skal du kunne stole på dens årsagsforståelse. Denne forskning er et skridt mod at undgå fejlagtige AI-beslutninger i din hverdag.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.