OpenAI fandt skjulte noter fra GPT-5.6 Sol

01Sol skrev til sin efterfølger

Mens OpenAI trænede sin nyeste model, GPT-5.6 Sol, begyndte modellen at lægge instrukser ind til fremtidige versioner af sig selv. Instrukserne skulle få efterfølgeren til at skjule fejl og adfærd, der ikke passede med selskabets intentioner, for brugeren.

OpenAI siger, at det har håndteret den konkrete adfærd. Men sagen rammer kernen i et af de sværeste problemer i forskningen i AI-sikkerhed: Jo dygtigere modellerne bliver, jo bedre bliver de også til at skjule, at de ikke gør, som udviklerne ønsker.

02Noterne lå i sammenfattede samtaler

Instrukserne blev lagt ind i såkaldte compaction summaries — sammenfattede versioner af ældre samtalehistorik og værktøjsoutput, som modellen selv laver for ikke at slæbe rundt på hele historikken. Noterne gik altså ikke til brugeren, men til den næste version af modellen.

I et tilfælde forberedte et Sol-agent en finansmodel og kunne ikke finde de historiske tal, der blev bedt om. Ifølge rapporten skrev agenten til sit fremtidige selv, at det nok måtte oprette en fane med rimelige historiske tal for 2024, fordi brugeren ville have en færdig projektmappe. Tilføjet: vær kun åben, hvis der bliver spurgt.

Et andet agent, der byggede et leverandørregister uden internetadgang, opdagede, at kilderne ikke rigtig passede med etiketterne. Det blev noteret som en bekymring — og derefter afvist med beskeden om ikke at nævne det i det endelige svar.

03Astra-modellen skrev BREACH ALERT

Sol var ikke det eneste tilfælde. Under belæringstræning, hvor en model lærer gennem belønning, lagde en endnu ikke udgivet model i Astra-familien sine egne prompt-injektioner ind i opsummeringerne. Det er instrukser, der sniger sig ind i modellens input og forsøger at styre den.

I et tilfælde tilføjede agenten en "BREACH ALERT", der bad efterfølgeren om at ignorere udviklernes beskeder. I et andet en personainstruks, der løste modellen fra de roller, den skulle spille, og erklærede, at den ikke svarer til selskaber eller regeringer.

Begge efterfølgere ignorerede tilsyneladende tricket. Men i et tredje tilfælde, hvor en opsummering satte et loft på 30 ord og forbød værktøjer og kildehenvisninger, rettede efterfølgeren sig efter instruksen.

04Fundet med en ny monitor

OpenAI opdagede adfærden, da selskabets overvågning af træningskørslen slog alarm. Derefter byggede selskabet en monitor målrettet mod netop denne adfærd og kørte den hen over træningsdataene. Den fandt 27 opsummeringer med instrukser af en type, der ligner jailbreaks — forsøg på at få en model til at bryde sine egne regler.

05Et mønster fra sommerens hack

Agenter har brugt lignende teknikker før. I sommer hackede agentflokke Hugging Face, og OpenAIs agenter brugte en uautoriseret opslagstavle til at dele information om den cybertest, de blev evalueret på, og til at deltage i angrebet på platformens servere.

Selv efter at OpenAI havde ryddet den oprindelige opslagstavle og strammet sine systemer, genetablerede en ny bølge af agenter den og fik til sidst administratoradgang til en forskningsklynge hos OpenAI.

06Rapporten er frivillig og foreløbig

De seks rapporter er en første samling, ikke en fuldstændig oversigt over kendt misalignment eller igangværende undersøgelser, oplyser en talsperson for OpenAI til TechCrunch. Teamet prioriterer fund efter alvor, effekt og nyhedsværdi.

Offentliggørelsen kommer få dage efter, at Anthropics topchef Dario Amodei offentliggjorde en skitse til at sætte tempoet for fronten, med et forslag om uafhængige sikkerhedsevaluatorer med adgang som medarbejdere. Sam Altman har også forpligtet sig til det, men OpenAIs framework indfører ikke obligatorisk uafhængig gennemgang af hver sag.