AI-nyhederYaxing Lyu fanger AI-assistenter i modsigelser
Ny test afslører, at AI-assistenter har svært ved at genkende og håndtere modstridende informationer.
Nyt værktøj
Forskere har udviklet KC-Bench, et interaktivt testværktøj, der udfordrer AI-assistenter med opgaver, hvor fakta ændrer sig undervejs. Det minder om virkelige situationer, hvor informationer opdateres og kan kollidere.
Opdagelsen
Testen viser, at AI-modeller har store problemer med at skelne mellem ny og gammel viden, når de får modstridende oplysninger. I mange tilfælde fastholder de fejlagtige svar, selv efter de er blevet præsenteret for de korrekte data.
Hvad betyder det
Det er første gang, at et benchmark fokuserer på dynamiske videnskonflikter. Hvis AI-assistenter skal bruges til at give pålidelige svar i en verden med hurtige ændringer, er dette en vigtig brik i deres udvikling.
- KC-Bench er et nyt dynamisk og interaktivt benchmark.
- Det evaluerer AI-assistenter på videnskonflikter, hvor fakta ændrer sig.
- Forskeren Yaxing Lyu står bag testen sammen med kolleger.
- Forskere fandt tydelige svagheder i modellernes håndtering af modstridende oplysninger.
- AI-modeller fastholder ofte forkerte svar, selv når de får ny viden.
Du får mere pålidelige og opdaterede svar fra AI-assistenter på nettet, når denne type test hjælper med at rette deres svagheder ved modstridende viden.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.