Ny CaRE-test måler AI-sprogmodellers regnekraft
Forskere har udviklet CaRE, en ny metode til at evaluere AI-sprogmodeller, der tager højde for den regnekraft, de bruger.
Problemet med gamle tests
Indtil nu er AI-sprogmodeller blevet testet på, hvor godt de klarer sig på et sæt opgaver. Men den test siger intet om, hvor meget regnekraft de har brugt for at nå resultatet – en model kan være stor og dyr, men kun lidt bedre end en lille.
Sådan virker CaRE
Den nye metode hedder CaRE og sammenligner modellerne på lige fod: Den måler kvaliteten af det, modellen producerer, op mod den mængde beregninger, den har brugt. Det giver et mere retvisende billede af, hvilken model der er bedst til opgaven, når prisen på strøm og hardware tæller med.
- CaRE står for Compute-aware Remasking Evaluation.
- Metoden er lavet til såkaldte masked diffusion-sprogmodeller.
- Den måler både kvalitet og regnekraftforbrug i én test.
- Forskerne bag er fra universiteter og arbejder på at gøre AI mere effektiv.
- CaRE kan hjælpe med at vælge den rigtige model til en given opgave.
Du får bedre og billigere AI-tjenester, fordi udviklere fremover kan vælge den mest effektive model – ikke bare den største.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.