AI-nyhederManuel Cherep afslører skjulte fordomme i AI-modeller
Manuel Cherep og to kolleger har udviklet en metode, der afslører, hvordan AI-modeller ser verden – og deres skjulte fordomme – ved hjælp af Gibbs sampling.
Det nye
Forskere har udviklet en metode, der kan kigge ind i hovedet på AI-modeller og finde deres underbevidste antagelser om verden. Teknikken bruger Gibbs-sampling til at undersøge, hvordan modellerne forestiller sig billeder, når de kun får en tekstbeskrivelse.
Sådan virker det
Ved at styre generative kontroller kan forskerne se, hvilke billeder AI'en selv finder frem, når den får et ord som 'hund' eller 'by'. Det viser, at modellerne har forudfattede meninger om, hvordan ting ser ud - meninger der kan være skæve eller stereotype.
Kritikerne siger
Metoden er stadig eksperimentel og viser kun et glimt af modellernes indre verden. Men den kan blive et vigtigt værktøj til at finde og rette skævheder i AI, før de rammer virkeligheden. Det er første skridt mod mere gennemsigtige systemer.
Hvad nu?
Næste skridt er at bruge metoden på flere typer AI-modeller og se, om fordommene kan fjernes. Det kan gøre AI bedre til at forstå verden, som den faktisk er - ikke som modellen tror, den er.
- Forskerne bag studiet er Manuel Cherep og to kolleger.
- Metoden hedder Gibbs sampling med fortolkede generative kontroller.
- Den afslører, hvordan AI-modeller forestiller sig billeder ud fra tekst.
- Studiet er offentliggjort på arXiv og har gennemgået fagfællebedømmelse.
- Formålet er at finde skjulte fordomme i AI-modeller.
Du kan få mere retfærdige AI-værktøjer, når forskere kan finde og rette modellernes skjulte fordomme - det gælder alt fra billedsøgning til selvkørende biler.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.