UK AISI deler benchmarkresultater andre kan efterprøve
Forskerne viser, at samme model scorer forskelligt alt efter protokol og beregningskraft. Nu deles resultater med fuld konfiguration.
AISI deler fem benchmarks med fuld konfiguration
UK AI Security Institute har længe målt, hvor stærke de mest avancerede AI-modeller er. Nu lægger instituttet de faktiske målinger offentligt tilgængelige via EvalEval-platformen Evaluation Cards.
Det drejer sig om fem benchmarks fra instituttets seneste undersøgelse samt to cyber-relaterede evalueringer. Alle resultater ledsages af den præcise konfiguration – hvilke modeller, indstillinger og opgaver der blev brugt.
Samme model skifter score efter protokol
En ny undersøgelse viser, at benchmarkscores ikke er faste. På Humanity's Last Exam – et ekstremt vanskeligt eksamenssæt for AI-modeller – ændrer en models score sig alt efter, hvilken evalueringsprotokol der bruges, og hvor meget beregningskraft den får under selve testningen.
Når modellerne fik korrekt feedback fra en såkaldt oracle (en kilde, der angiver, om svaret er rigtigt) efter hvert forsøg, fortsatte de med at løse flere opgaver, jo flere tokens de brugte.
Andre kan nu efterprøve hver enkelt score
Tidligere har evalueringsrapporter ofte manglet præcis information om, hvordan resultatet blev frembragt. Når AISI nu deler både resultat og opsætningsdata, kan forskere se, om to tilsyneladende sammenlignelige scores overhovedet er lavet under samme betingelser.
Flere detaljer
- Seks frontier-modeller: Claude Opus 4, 4.5, 4.6, GPT-5, 5.2 og 5.4
- AISI-papiret How Inference Compute Shapes Frontier LLM Evaluation følger dataene
- Samarbejdet begyndte ved et workshop ved NeurIPS 2025
Kilder:
Hugging Face →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.