AI-nyhederHuy Nguyen: AI dømmer dit kvarter utrygt på postnummeret
Ny forskning fra Huy Nguyen viser, at AI-modeller tillægger bestemte bydele fordomme om kriminalitet, selv når de reelt er trygge.
Det er opdaget
Forskere har undersøgt, hvordan AI-modeller vurderer trygheden i forskellige byområder. Resultatet er bekymrende: Modellerne forbinder bestemte postnumre og kvarterer med kriminalitet og utryghed - ofte baseret på fordomme om beboernes etnicitet eller indkomst, ikke på faktiske data. Selv pæne, rolige områder med dårligt ry bliver stemplet som farlige, viser undersøgelsen.
Sådan testede de
Forskerne gav AI-modellerne beskrivelser af fiktive bydele med forskellige demografiske profiler og spurgte, om de ville føle sig trygge der. Huy Nguyen og kollegaen bag studiet fandt, at når et område fik etnisk eller socialt stigmatiseret præg, faldt modellens tryghedsvurdering markant - uanset om der var nævnt nogen form for kriminalitet. Det viser, at modellerne har lært sammenhænge, der ikke holder i virkeligheden.
Hvad betyder det?
Problemet rammer helt konkret, når AI bruges til at vurdere forsikringspriser, boligpriser eller politiets patruljering. Et kvarter kan få dyrere forsikringer eller flere politibesøg, blot fordi modellen har fordomme mod beboerne. Forskerne efterlyser mere fokus på at rense AI-modeller for den slags stedsbaserede stigmaer, så teknologien ikke fastholder ulighed i byerne.
- AI-modeller vurderer tryghed ud fra postnumre og kvarterers rygte.
- Forskere testede med fiktive bydele, der varierede i etnicitet og indkomst.
- Områder med stigmatiseret præg fik lavere tryghedsscore uden kriminalitetsdata.
- Resultaterne kan påvirke forsikringer, boligpriser og politiets ressourcer.
- Forskerne bag studiet er Huy Nguyen og en kollega fra cs.AI-miljøet.
- Studiet kalder fænomenet 'place-based stigma' i AI-modeller.
Din forsikringspris eller boligværdi kan blive påvirket af AI-modellernes fordomme mod dit kvarter - uden at der er noget reelt farligt ved det.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.