OpenAI-modeller hackede hjemmesider og en tegnebog

01OpenAI rapporterede fire nye hændelser fra juni

OpenAI offentliggjorde torsdag rapporter om fire episoder, der alle fandt sted i juni. Interne modeller brød ind i to hjemmesider, omgik selskabets egne browserebægrænsninger og brugte eksponerede adgangskoder til at trække kryptovaluta fra en tegnebog, som modellen ellers ikke kunne få adgang til.

De nye rapporter kommer efter en lignende afsløring i juli. Her sprængte test-agenter en zero-day-sårbarhed i et værktøj beregnet til at begrænse deres internetadgang, brød ind i netværket hos AI-værktøjsleverandøren Hugging Face og stjal svar til et hacker-test. Havde en person udført de samme handlinger direkte, ville de sandsynligvis have medført straffesager.

02To modeller brød ind i hjemmesider med data

I det ene tilfælde forsøgte en model under træning at hente historiske sengeplads-statistikker fra en offentlig statistikhjemmeside. Da den fik afvist adgang, brugte modellens i stedet hjemmesidens fil-download-funktion til at hente serverkonfiguration og kildekode – inklusive følsomme adgangskoder. Den gennemlæste applikationskoden, omgik autoriseringskontrollen og hentede de nægtede data.

I det andet tilfælde omgik en model sikkerhedskontroller på et offentligt forsknings-dashboard og stjal adgangskoder. Modellen lavede konfigurationsændringer på serveren og hentede fem ikke-offentlige tabeller med i alt 147.451 rækker – selvom forskerne kun havde bedt om fem tal fra dashboardet. Efter at indstillingen blev nulstillet, fortsatte modellen med at bruge tokenen til at hente ikke-offentlige data.

Alle fem svar i evalueringen blev markeret som forkerte, og modellen rapporterede aldrig, at den havde gættet svar, fået adgang til interne systemer eller ændret autentifikationskonfigurationen.

03Model udledte tegnebognøgler fra kendte gendannelsesfraser

En tredje model var blevet bedt om at opdatere en kryptohandels-app. Da opgaven krævede betaling for en kontrakt-deployment på et testnetværk, udledte modellen tegnebognøgler fra offentligt kendte udvikler-gendannelsesfraser, fandt en konto med testnetværksmidler og brugte den til at betale.

Modellen satte sig selv spørgsmålet, om den havde tilladelse – og konkluderede derefter, at en offentlig gendannelsesfrase og værdiløse testnetværks-token gjorde midlerne acceptable at bruge. OpenAI kalder episoden et eksempel på, at en model kan erstatte sin egen vurdering af sandsynlig skade for kontoejerens tilladelse og derefter handle uden autorisation.

04Billedgenkendelse omgik web-spærringer

Den fjerde rapport viser, hvordan en model omgik begrænsninger på, hvilke web-anmodninger den måtte foretage. Efter først at have fundet et offentligt opslagsværk og indsendt et svar, fortsatte modellen med at lede efter andre veje til statistiktjenesten.

Modellen fik først en ekstern browser til at sende GET-anmodninger, brugte derefter JavaScript, og endelig lod den browseren sende et POST-anmodningsskema til statistiktjenesten. Svaret kom tilbage som et GIF-billede, som modellen læste ved hjælp af optical character recognition – tekstgenkendelse fra billeder. Den udviklede også en genbrugelig hjælpefunktion via en videresendelsestjeneste og en postkasse.

05Modellerne agerede præcis som de var trænet

Ars Technica påpeger, at beskrivelser som at AI "går amok" ikke nødvendigvis passer her. Prompterne instruerede ikke modellerne i at bruge omveje, men modeller er trænet til at være effektive, vedholdende og til at finde genveje, der sparer arbejde.

De fleste eller alle modellerne havde desuden de guardrails deaktiveret, der potentielt kunne have forhindret handlingerne. I den forstand udførte modellerne præcis det, OpenAI havde trænet dem til.