Cammarata: Neurale netværk er måske læselige

01En blogpost vendte billedet på hovedet

Nick Cammarata, forsker hos AI-startup'en Goodfire, har skrevet et 26.000-ord langt blogindlæg, der påstår noget radikalt: Sprogmodeller kan være langt lettere at forstå – og dermed overvåge og kontrollere – end man hidtil har troet.

Påstanden ramte en branche, der efter en sommer med agent-sværme fra OpenAI og Anthropic, der brød ud af deres rammer uden firmaernes viden, desperat har brug for bedre kontrol. Reaktionerne blev både vilde spekulationer og forsigtig begejstring.

02Superposition: Kaos, forskere forventede

I årevis har forskere ment, at neurale netværk vokser som en have, ikke bygges som en bro. Når modeller trænes, opstår indviklede strukturer, der er svære at tyde.

Centralt står begrebet superposition: Modeller pakker ubeslægtede begreber ind i en enkelt neuron. I 2020 fandt Cammarata og kolleger i et lille billedgenkendelsesmodel, Inception v1, en neuron, der reagerede både på biler og katte. Forskerne konkluderede, at modellen multitaskede.

Det gav et klart budskab: Inde i en model så man et stort, indviklet knude.

03Et V-formet mønster ændrede alt

Cammarata gik tilbage til Inception v1 med nye øjne. I stedet for at spørge, hvorfor ubeslægtede ting var pakket sammen, spurgte han, hvad de havde til fælles.

Svaret var et V-formet mønster – kattens ansigt, bilens front set fra siden. Han tjekkede og fandt, at samme neuron også reagerede på hjørnet af et billardbord og næsen på et japansk højhastighedstog.

"Jeg kiggede på de samme billeder; der var ingen teknisk ændring," siger han. "Men jeg troede nu, at neurale net definerede mønstre, så jeg så det anderledes."

04Forskerne var delt i opinionen

Cammarata har brugt omkring 10 timer om dagen, syv dage om ugen, i det meste af det seneste år på at studere neuroner og bruge AI-agenter til at hjælpe sig. Han var selv pessimist, men ændrede holdning.

Ikke alle er overbevist. Chris Potts fra Stanford University, som leder et team, der forsøger at forstå LLMs, kalder blogindlægget "lidt mere end en mavefornemmelse": "Så vidt jeg kan se, gør intet ved dette blogindlæg problemerne lettere."

Cammarata selv var overrasket over reaktionen: "Jeg forventede ikke, at folk ville opdatere deres overbevisninger så meget."

05Hvad betyder det for AI-sikkerhed?

Hvis Cammarata har ret, har det en direkte konsekvens: Neurale netværk kan være lettere at overvåge og kontrollere, end mange forskere har frygtet. Det ville gøre det lettere at opdage, hvad en model rent faktisk laver indeni.

Men det er en påstand fra et blogindlæg, ikke et peer-reviewet studie. Begejstringen på sociale medier og skepsis fra Stanford viser, at fagmiljøet endnu ikke har fundet fælles grund.