FlavourBench-forskere tester AI med madopskrifter

Nyt benchmark vurderer sprogmodellers evne til at følge opskrifter præcist – og afslører store forskelle mellem topmodellerne.

Det er sket

Forskerne bag FlavourBench har skabt en test, der giver sprogmodeller madopskrifter at arbejde med. I stedet for at vurdere, hvor godt modellerne klarer sig på traditionelle opgaver, fokuserer testen på, om de faktisk kan følge instruktionerne korrekt – helt ned til mængder og rækkefølge. Det giver et nyt, konkret billede af, hvor pålidelige modellerne er i virkeligheden.

Sådan virker det

Metoden bruger udførbar kulinarisk 'ground truth' – altså opskrifter, der er matematisk verificeret. Modellerne får en opskrift og skal forudsige resultatet, hvorefter svaret sammenlignes med det rigtige. Det gør testen retvisende, fordi der er ét entydigt svar, modsat mange andre benchmarks, hvor der kan være flere måder at nå samme resultat på.

Hvad er det nye?

De fleste benchmarks belønner overfladisk viden og mønstergenkendelse. FlavourBench tester derimod, om modellen forstår og kan anvende instruktioner i praksis. Forskerne bag studiet håber, at det kan flytte fokus fra, hvor meget en model 'ved', til, hvor godt den faktisk 'kan'. Det er et skridt mod at måle brugbarhed, ikke bare viden.

Hvad betyder det?

Selvom madoverfladisk kan virke som en niche, er evnen til at følge komplekse instruktioner afgørende for mange fremtidige AI-opgaver – fra medicin til teknik. FlavourBench giver udviklere et konkret værktøj til at sammenligne modeller og finde svagheder, før de sendes ud i verden. Det er en vigtig brik i at teste AI, ikke bare på sprog, men på handling.

Kilder:
arXiv cs.AI →

Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.