AI-nyhederManuel Cherep: AI skal testes på adfærd, ikke bare på papir
Forsker Manuel Cherep foreslår, at AI-systemer skal vurderes på deres faktiske adfærd frem for statiske tests. Det kan ændre hele branchen.
Kernen i kritikken
Manuel Cherep og kolleger mener, at de nuværende tests for AI er for snævre. De måler ofte kun, om systemet svarer rigtigt på faste spørgsmål. Men virkeligheden er uforudsigelig og kræver, at AI'en reagerer hensigtsmæssigt i nye situationer. Derfor efterlyser de adfærdsbaserede tests, der ligner virkeligheden langt mere.
Hvad er nyt?
Forskerne vil have, at man ser på, hvad AI'en gør, ikke bare hvad den siger. Det betyder, at testene skal inkludere scenarier, hvor systemet skal handle – for eksempel i en chat med en vred bruger eller i en trafikal situation. Det er et opgør med den traditionelle tilgang, hvor man kun tjekker svar på skriftlige opgaver.
Virkeligheden banker på
Hvis AI skal bruges i hverdagen – i biler, sundhed og kundeservice – så dur det ikke, at den kun klarer sig godt til eksamen. Cherep understreger, at uforudsete situationer er normale, og at AI'en skal kunne håndtere dem. Det kræver tests, der udfordrer systemet under kontrollerede, men realistiske forhold.
- Forskerne bag er Manuel Cherep og to andre.
- Artiklen er et positionspapir, der argumenterer for en ny testmetode.
- De nuværende tests fokuserer på faste spørgsmål og svar.
- Forskerne foreslår at teste AI i dynamiske, uforudsigelige scenarier.
- Adfærdsbaserede tests skal vurdere handlinger, ikke kun tekstsvar.
- Anvendelsesområder omfatter AI i trafik, sundhed og kundeservice.
Du kan snart møde AI, der er testet i virkelighedsnære situationer, ikke kun på skriftlige opgaver. Det betyder færre uventede fejl, når du bruger digitale assistenter eller selvkørende teknologi.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.