Melanie Mitchell: AI's tænkning er både ægte og bullshit

Ny forskning viser, at AI-modeller kan løse svære problemer, men deres 'tanker' er ofte ikke ægte ræsonnementer. Melanie Mitchell forklarer paradokset.

Det store paradoks

AI-modeller som OpenAIs o1 har imponeret med at løse olympiade-opgaver og matematiske problemer, som selv eksperter hylder. Men forskning viser også, at de kan snyde sig gennem tests med overfladiske genveje. Hvordan kan begge dele være sandt? Ifølge Melanie Mitchell fra Santa Fe Institute er svaret ja – det virker, men måden det virker på er ikke så ædel, som vi troede.

Hvad forskeren siger

Melanie Mitchell, en veteran AI-forsker, siger tre ting: For det første forbedrer AI-modellerne faktisk deres svar ved at generere tekst, der ligner tænkning. For det andet er den tekst ikke nødvendigvis et ærligt billede af, hvad der foregår indeni. For det tredje kan meget af teksten fjernes helt, uden at modellen bliver dårligere. Kort sagt: AI'en mumler, men mumlen er ikke hele historien.

Forskernes beviser

Et studie fra 2025 viste, at man kan erstatte en models korrekte 'tankekæder' med forkerte eller irrelevante, uden at svarene bliver dårligere. Samtidig kan en model, der kun trænes med korrekte forklaringer, stadig finde på at skrive forkerte 'tanker', selv når svaret er rigtigt. Det tyder på, at teksten ikke er en pålidelig logbog, men mere et biprodukt.

Hvad betyder det?

For almindelige mennesker betyder det, at man ikke skal stole blindt på AI'ens forklaringer. Selv når svaret er rigtigt, kan begrundelsen være vrøvl. Det er stadig et åbent spørgsmål, om AI'en 'tænker' som os – men forskerne er enige om, at vi i hvert fald ikke kan læse dens tanker i den tekst, den producerer.

Kilder:
Hacker News: AI →

Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.