Hugging Faces chef: AI-evalueringer er ikke klar
Irene Solaiman advarer om, at indlejrede tredjeparts-evaluerere kræver standardisering, før de kan løse AI-sikkerhedsproblemer.
Evaluerere inde i AI-firmaer er populære
Flere AI-virksomheder vil have uafhængige observatører placeret direkte indeni deres organisationer – såkaldte embedded evaluators – til at overvåge og vurdere deres modeller. Ideen har fået fremdrift, efter en række sikkerhedshændelser har skabt bekymring om teknologiens potentiale for skade.
Men ifølge Irene Solaiman, chefpolitiske rådgiver hos Hugging Face, er det ikke en nem løsning. Hun sagde det under en samtale på TechCrunch Disrupt sidste uge: "De er en udviklende videnskab – vi ved ikke, hvordan vi meningsfuldt skal sammenligne dem med hinanden."
Kan man genskabe resultatet?
Det grundlæggende spørgsmål er, om resultaterne overhovedet kan genskabes. Solaiman fremhævede, at tillid til en evaluering kræver, at man har tilstrækkelig adgang til selve modellen – og her spiller open weights, altså modeller hvor vægtene er offentligt tilgængelige, en stor rolle. Uden den adgang kan andre ikke bekræfte, at et testresultat holder.
Det er en gammel udfordring i branchen, der fortsat er genstand for debat.
Svagere model med bedre værktøj kan vinde
Evalueringer er ved at flytte sig fra kun at teste modellen til at teste hele systemet omkring den – herunder "harness" og agent. Harnesset er det værktøj, brugeren anvender til at få adgang til modellen, og det har stor betydning for resultatet. Solaiman forklarede, at en svagere model med et bedre harness nemt kan overgå en toptunet model.
"Agentic evals er virkelig hårde og virkelig dyre," sagde hun. Der findes flere evalueringer for modeller end for harnesses, og bedre evalueringer af den samlede agent er under udvikling.
Anthropic vækker kritik med Accenture-aftale
I stedet for at vente på myndighedsregulering har AI-firmaer presset på for tredjepartsløsninger. Men spørgsmålet om neutralitet står centralt. Anthropic besluttede at hyre konsulentvirksomheden Accenture som sin første evaluator – en beslutning, der udløste betydelig kritik. Kritikere satte spørgsmålstegn ved, om konsulentfirmaet overhovedet var kvalificeret til opgaven.
Solaiman pointerede, at der er "sult" efter et økosystem af embedded evaluatorer, men at kvalifikationerne for, hvem der er en effektiv evaluator inden for hvilke opgaver, kræver langt mere standardisering.
Flere detaljer
- Solaiman talte ved TechCrunch Disrupt i midten af oktober 2026
- Hugging Face har selv været mål for en AI-sikkerhedshændelse
- Benchmark-test bruges af AI-firmaer til at sammenligne modeller
- Evalueringsbranchen beskrives som "fri for alle" i øjeblikket
Kilder:
TechCrunch AI →
Genfortalt i egne ord af AI-nyheder.com · AI-genereret illustration · Tjek altid originalkilden, før du handler på vigtige oplysninger.