Forskere: AI sætter fart på Anthropics modeludvikling

En undersøgelse peger på hurtigere fremskridt, men bygger blandt andet på medarbejdernes egne vurderinger. Væsentlig dokumentation er fjernet fra den offentlige rapport.
AI hjælper forskerne med udviklingen
Anthropics AI-modeller forbedrer sig omkring dobbelt så hurtigt som for et år siden. Det vurderer sikkerhedsforskningsorganisationen METR efter en undersøgelse hos virksomheden, skriver The Verge.
Vurderingen bygger blandt andet på resultater fra standardiserede modeltest. Ifølge METR svarer forbedringerne det seneste år til omkring to års fremskridt i det tidligere tempo.
METR vurderer, at størstedelen af accelerationen i oktober skyldtes AI-hjælp, ikke blot mere regnekraft til at træne modellerne. AI hjælper især menneskelige forskere; undersøgelsen dokumenterer ikke, at AI udvikler nye modeller fuldt selvstændigt.
Medarbejdernes vurderinger er ikke målinger
Anthropics medarbejdere vurderede i gennemsnit, at de var omkring 12 gange så produktive med virksomhedens mest avancerede interne model som uden AI-hjælp. Tallet kom fra uformelle spørgerunder og interview.
Det er medarbejdernes egne skøn, ikke en uafhængig måling af deres faktiske produktivitet. Deres vurdering var omkring dobbelt så høj som nogle måneder tidligere, da de brugte Mythos 5.
Anthropic fjernede væsentlig dokumentation
METR undersøgte virksomheden i 11 uger og fik adgang til blandt andet fortrolig forskning, men ikke ubegrænset adgang. Organisationen fortæller, at enkelte anmodninger om data blev afvist.
Anthropic kunne fjerne oplysninger fra den offentlige rapport. Ifølge METR fjernede virksomheden størstedelen af den dokumentation, forskerne fandt mest oplysende. Det gør det sværere for offentligheden selv at vurdere konklusionerne og usikkerheden.
Denne artikel bygger på The Verges omtale. METRs rapport er ikke læst direkte.
Kilder:
The Verge AI →
Genfortalt i egne ord af AI-nyheder.com · AI-genereret illustration · Tjek altid originalkilden, før du handler på vigtige oplysninger.