Anthropic betaler Accenture for at evaluere egne modeller
Accenture vurderer Anthropic-modeller indefra med medarbejderadgang, og begge parter lægger mindst 1 mia. dollar over fem år.
Accenture tester modeller og sikkerhedsgreb
Anthropic har indgået et samarbejde med konsulentvirksomheden Accenture om selvstændig evaluering af sine frontier-modeller, altså de mest avancerede AI-modeller. Det er et skridt mod løftet i CEO-essayet "We Must Pace the Frontier" om at placere faste evaluatorer i virksomheden.
Samarbejdet ledes af Faculty, Accentures specialiserede AI-forretning. Det omfatter evaluering og red-teaming af modeller — systematiske forsøg på at få en model til at fejle — samt vurderinger af, hvor godt modellerne følger deres tilsigtede formål, og tests af modellernes sikkerhedsforanstaltninger.
Accenture hjælper virksomheder og myndigheder med at tage AI i brug på mange områder. Den erfaring skal indgå i vurderingen af Anthropics modeller.
- Minste investering fra hver af Anthropic og Accenture over de næste fem år
- 1 mia. dollar
Evaluatorer får medarbejderadgang indefra
I dag vurderer eksterne evaluatorer modellerne udefra. Indlejrede evaluatorer derimod arbejder inde i AI-virksomhederne med adgang på niveau med en medarbejders. De kan følge modellerne, mens de trænes, holde øje med de beslutninger, der styrer, hvordan de bygges og udrulles, og tale direkte med medarbejdere.
Derfra kan de vurdere, hvordan virksomheden fungerer, kontrollere, om den holder sine sikkerhedsforpligtelser, og finde blinde pletter. De kan også rapportere hændelser og give offentligheden et mere oplyst billede af fordele og risici. Sikkerheden i modellerne er fortsat Anthropics eget ansvar, understreger virksomheden.
Ingen standarder eller fælles finansiering findes
Der findes endnu ingen standarder for, hvilke oplysninger indlejrede evaluatorer skal have adgang til, eller hvordan de skal rapportere fund. Der er heller ingen fast model for finansiering af selvstændig evaluering.
Anthropic betaler derfor Accentures arbejde direkte og er desuden i dialog med nonprofit-evaluatorens METR og andre om at afprøve dele af ordningen med egen finansiering. På sigt mener Anthropic, at pengene bør komme fra puljer eller myndigheder, som det blev anbefalet i Advanced AI Framework i juni, men den ordning findes ikke i dag.
Samarbejdet er ikke eksklusivt: Anthropic vil arbejde med flere evaluatorer, og Accenture med flere AI-udviklere.
Flere detaljer
- Faculty, Accentures AI-forretning, leder samarbejdet.
- Flere evaluatorer forventes præsenteret de kommende uger.
- Tiltaget offentliggøres, så andre AI-udviklere kan følge processen.
- Anthropic fortsætter med at træne og udgive frontier-modeller.
Kilder:
Anthropic News →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.