LivingArena lader AI-modeller grille hinanden
Ny metode, LivingArena, lader AI-modeller quizze hinanden for at finde fejl og huller i viden.
Kolleger tester
Forskere har udviklet en ny måde at teste AI på: i stedet for at give modellen færdige spørgsmål, lader de to forskellige AI-systemer quizze hinanden. Den ene stiller spørgsmål om emner, den anden måske ikke kender. Det afslører blinde vinkler, som almindelige tests overser.
Ny svagheder fundet
Metoden, der kaldes peer-probing, fandt markant flere fejl end standardmetoder. Når én AI skulle udspørge en anden, kom der eksempler frem, hvor modeller var helt på vildspor – især i smalle fagområder. Det viser, at de store AI-systemer har flere huller end hidtil antaget.
Hvad betyder det for DIG?
Du får mere pålidelige AI-værktøjer uden at vente på dyre laboratorietests, fordi fremtidens modeller testes grundigere og billigere allerede i udviklingsfasen.
- Metoden lader AI-modeller stille spørgsmål til hinanden i stedet for faste testsæt.
- Den afslører blinde vinkler, især i smalle fagområder modellen ikke mestrer.
- Standardtest overser ofte de svagheder, som peer-probing finder.
- Teknikken kan skaleres op uden store ekstra omkostninger.
- Forskningen er offentliggjort på arXiv som forberedelse til videre peer review.
Du får mere pålidelige AI-værktøjer uden at vente på dyre laboratorietests.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · AI-genereret illustration · Tjek altid originalkilden, før du handler på vigtige oplysninger.