AI-nyhederForskere vil teste AI'ens færdigheder - ikke hele systemet
Nyt forskningsprojekt foreslår at evaluere AI på enkelte færdigheder frem for hele systemet - og gøre det løbende, så resultaterne altid er aktuelle.
Det nye
Forskere bag et nyt projekt vil måle AI anderledes end hidtil. I stedet for at se på hele systemet under ét, foreslår de at vurdere de enkelte færdigheder - fx at regne, skrive eller kode - hver for sig. Og det skal ske løbende, så man hele tiden kan se, hvad AI'en faktisk kan lige nu.
Hvorfor nu?
De nuværende testmetoder giver kun et øjebliksbillede. Når AI opdateres, kan resultaterne hurtigt blive forældede. Med løbende evaluering af færdigheder kan man følge udviklingen tættere og fange ændringer - både forbedringer og tilbageskridt - langt hurtigere end i dag.
Hvad kan det bruges til?
For almindelige brugere betyder det, at man kan få et mere præcist billede af, hvad en AI faktisk er god til. Virksomheder kan bedre vurdere, om AI'en klarer opgaven, de har brug for hjælp til. Og udviklere kan se, hvilke færdigheder der trænger til forbedring.
- Forskningen er et forslag til en ny evalueringsmetode, ikke et færdigt produkt.
- Metoden ser på færdigheder som regning, skrivning og kodning separat.
- Evalueringen skal ske løbende og ikke kun som engangstests.
- Målet er at fange forandringer i AI-adfærd hurtigere end i dag.
- Forskerne bag projektet er tilknyttet arXiv's forskningsmiljø.
Du får et mere ærligt billede af, hvad en AI kan - og hvornår den måske er blevet dårligere - i stedet for at stole på forældede tests.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.