FrED viser hvad AI har lært
FrED opbygger et internt kort over et fagområde og afslører, om AI'en har hentet supplerende data udefra.
Hvad er problemet?
Når en AI laver en opgave, er det ofte uklart, om den bruger sin egen træning – eller om den har hentet hjælp fra en ekstern kilde som en søgemaskine. Det gør det svært at vide, om svaret er troværdigt, og hvor det kommer fra.
Værktøjet FrED
Forskerne kalder deres nye metode FrED. Den opbygger et slags internt kort over et bestemt fagområde – for eksempel medicin – og ser så, præcis hvilke dele af den viden AI-modellen trækker på, når den svarer. Det afslører, om den har hentet information udefra.
Hvorfor er det vigtigt?
Teknikken kan hjælpe med at gøre AI mere gennemsigtig. Hvis en AI foreslår en behandling eller et juridisk råd, kan man nu tjekke, om den faktisk har slået noget op – og i givet fald, hvilken kilde. Det kan øge tilliden og gøre det lettere at fange fejl.
- FrED står for External Data Influence via Domain Knowledge Grounding.
- Metoden opbygger en model af et specifikt fagområde, for eksempel medicin eller jura.
- Den sammenligner AI'ens interne viden med eksterne kilder for at finde forskelle.
- På den måde kan den se, om AI'en har hentet supplerende data udefra.
- Teknikken er afprøvet på eksisterende AI-modeller med gode resultater.
Du kan i fremtiden stole mere på AI's svar, fordi vi kan se, om den har tjekket med en troværdig kilde – eller bare gætter.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.