Forskere fandt AI'ens beslutningsknap
Forskere har opdaget, at sprogmodeller har et bestemt lag, der låser svaret – før det kan de stadig skifte mening.
AHA-øjeblikket
Forskere har opdaget, at store sprogmodeller som dem bag ChatGPT har et bestemt lag, der fungerer som en beslutningsknap. Før laget er modellen stadig i tvivl og kan skifte mening. Når modellen passerer det, så er svaret låst – den kan ikke længere ændre retning.
Sådan virker det
Ved at analysere modellens indre tilstande fandt forskerne, at den på et tidspunkt 'forpligter' sig til en fortolkning. Det kalder de en *committed inference*. Det er lidt som når du først har sagt et ord højt – du kan ikke tage det til dig igen. Opdagelsen giver et nyt vindue ind i, hvad der foregår inde i den sorte boks.
Hvad betyder det for dig?
Fremover kan det blive muligt at bygge AI'er, der er mere ærlige om deres tvivl. I stedet for at gætte og lyde sikker, kunne modellen sige 'jeg er usikker' og spørge dig til råds. Det vil gøre chatrobotter mindre farlige, når de svarer på spørgsmål om jura, medicin eller andet, hvor et forkert svar koster.
- Modellen låser sin beslutning på et bestemt lag i netværket.
- Før låsepunktet kan modellen stadig skifte mening.
- Opdagelsen kaldes 'committed inference' i forskningsartiklen.
- Forskerne brugte avancerede metoder til at kigge inde i modellen.
- Fundet kan føre til mere gennemsigtige og ærlige AI-systemer.
- Det forklarer, hvorfor AI nogle gange lyder for sikker i spyttet.
Du kan fremover forvente chatrobotter, der siger 'ved ikke' i stedet for at lyve sikkert – det gør dem mindre farlige i hverdagen.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.