Google tester AI på visuelt krævende arbejde
En ny test måler, om AI kan løse opgaver med tegninger, regneark og andre filer. Googles Gemini 4 Carbon blev nummer to på kvalitet.
Opgaverne kræver mere end tekst
AI-modeller skal aflæse komplekse visuelle filer og bruge oplysningerne til at løse arbejdsopgaver i en ny test fra Google og analysevirksomheden Artificial Analysis.
Testen hedder Multimodal Knowledge Agent, eller MKA. Den undersøger blandt andet, om en AI-agent kan arbejde på tværs af tegninger og andre filer og samle resultaterne i rapporter, præsentationer eller regneark. En AI-agent er her en model, der kan bruge værktøjer og arbejde gennem flere trin.
Fagfolk fra blandt andet arkitektur og biologi har været med til at lave de 200 opgaver. Hver opgave svarer ifølge Google til et projekt, der tager en erfaren fagperson tre til otte timer.
- Gemini 4 Carbons gennemsnitlige udgift pr. opgave sammenlignet med modellen med højest score, ifølge Google
- 6 gange lavere udgift
En anden AI bedømmer svarene
Alle modeller får de samme værktøjer og arbejder under de samme rammer. En automatisk bedømmer, der bygger på en model fra en anden virksomhed end Google, åbner filerne og kontrollerer svarene mod fagfolkenes tjeklister.
Ifølge Google var fagfolk og den automatiske bedømmer enige i 96 % af bedømmelserne, da fagfolkene selv gennemgik modellernes svar. Faktuel korrekthed vægter 75 % og visuelt design 25 %.
De 200 testopgaver holdes hemmelige for at mindske risikoen for, at modellerne finder dem i træningsdata eller via søgning. Ti andre opgaver er offentlige, så interesserede kan se formatet og afprøve deres egne agenter.
Gemini blev nummer to
Google oplyser, at Gemini 4 Carbon blev nummer to på kvalitet blandt de testede modeller. Samtidig var den gennemsnitlige udgift til at løse opgaverne seks gange lavere end for modellen med den højeste score.
Resultatet er en måling i den nye test, ikke en garanti for, at modellen klarer konkrete arbejdsopgaver uden fejl. Gemini 4 Carbon er ifølge Google tilgængelig for udviklere gennem Gemini API i Google AI Studio.
Kilder:
Google Gemini →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.