AI-nyhederHarbor-Index: Ny målestok for AI-assistenter
Forskere bag Harbor-Index vil gøre det lettere at sammenligne AI-assistenter med en fælles målestok.
Det nye værktøj
Et stort forskerhold har bygget Harbor-Index, en slags samlet hylde med opgaver, som AI-assistenter skal løse. Systemet er tænkt som en standard, så alle kan testes på samme måde. Det skal gøre det nemmere at se, hvilken assistent der reelt er bedst til forskellige opgaver.
Sådan virker det
Forskerne har lavet noget, de kalder Harbor Adapters, som er en slags oversættere. De gør det muligt at koble mange forskellige AI-modeller på den samme testbane. På den måde kan man køre de samme opgaver igen og igen på tværs af forskellige systemer og få sammenlignelige resultater.
Derfor betyder det noget
I dag bliver AI-assistenter ofte testet på vidt forskellige måder, hvilket gør det svært at sammenligne dem. Med Harbor-Index bliver testene mere ensartede og gennemsigtige. Det kan hjælpe udviklere med at finde de rigtige værktøjer og give et mere retvisende billede af, hvad assistenterne kan.
- Forskerholdet bag projektet tæller Lin Shi og over hundrede andre forskere.
- Harbor-Index er et samlet datasæt med mange forskellige opgaver til AI-assistenter.
- Harbor Adapters fungerer som en bro mellem forskellige AI-modeller og evalueringssystemet.
- Værktøjet er designet til at gøre stor-skala test af AI-agenter nemmere og mere standardiseret.
- Målet er at give et mere retvisende sammenligningsgrundlag for AI-assistenter.
Du kan snart lettere se, hvilken AI-assistent der faktisk klarer sig bedst, når udviklere tester med samme målestok i stedet for hver deres.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.