AI-nyhederBarba Roque og Cruz: AI-måling er misvisende
Forskere viser, at AI-ydeevne ofte måles forkert. Hastighed alene fortæller ikke hele sandheden om effektivitet.
Det nye fund
Enrique Barba Roque og Luís Cruz har undersøgt, hvordan AI-modellers effektivitet måles. De har fundet, at det normale mål, FLOPs, ikke fortæller hele historien. FLOPs tæller matematiske operationer, men siger ikke noget om, hvor meget reelt arbejde modellen udfører.
Hvad betyder det?
To AI-modeller kan have samme FLOPs-tal, men den ene kan være meget bedre til faktisk at løse opgaver. Forskerne foreslår, at man også måler på resultater i praksis. Det kan ændre måden, vi vurderer AI på.
Brug i virkeligheden
Når virksomheder vælger AI-modeller, kan de blive snydt af tal, der lyder godt, men ikke holder i praksis. Med den nye metode kan man vælge modeller, der er både hurtige og effektive. Det sparer både tid og penge.
- Forskerne er Enrique Barba Roque og Luís Cruz.
- Studiet er offentliggjort på arXiv.
- FLOPs tæller matematiske operationer i AI.
- FLOPs siger ikke noget om reelt arbejde.
- To modeller kan have samme FLOPs, men forskellig effektivitet.
- Forskerne foreslår at måle på resultater i praksis.
Du kan ikke stole blindt på AI-hastighedstal. Kig efter resultater i praksis, når du vælger AI-værktøjer.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.