Opdigtet AI-rapport bragte USA tæt på krig
En chatbot blandede åbne og hemmelige kilder og identificerede forkert lasten på et kinesisk skib. Militæret forberedte en opbringning, før fejlen blev opdaget.
Rapporten pegede på atomdele
Et kinesisk skib var på vej gennem Mellemøsten, da en analytiker ved US Special Operations Command konkluderede i en efterretningsrapport, at skibet transporterede komponenter til et atomvåbenprogram. Det skriver CNN med henvisning til fire kilder med kendskab til episoden.
USA's militær forberedte en opbringning af skibet med luftstøtte. Først derefter opdagede embedsmænd, at en chatbot brugt i analysen havde identificeret lasten forkert. En kilde kaldte over for CNN forløbet for noget, der "næsten startede en krig".
- Aktive ansatte i det amerikanske forsvarsdepartement, der ifølge en Pentagon-repræsentant i Kongressen i juni har brugt militærets generative AI-værktøjer
- 1,5 mio.
- CNNs beskrivelse af episoden bygger på fire kilder med kendskab til forløbet
- Fire kilder
Chatboten blandede åbne og hemmelige kilder
Analytikeren brugte chatboten til at gennemgå efterretningsrapporter om skibets lastmanifest. Ifølge CNN slog værktøjet åbne kilder sammen med hemmelig signalefterretning fra regeringens systemer, og resultatet blev pakket ind i en efterretningsrapport.
Fejlen kaldes en hallucination. Sprogmodeller kan nemlig opfinde indhold, når træningsdata ikke giver nok kontekst.
Hallucination er et kendt problem
"Hallucinating" var Cambridge Dictionarys ord for året i 2023. Siden er forfattere, journalister, forskere, dommere, læger, politi og kundecentre blevet ført bag lyset af AI-svar, der blot blev opfundet.
Prompter som "do not hallucinate" hjælper ikke, og nogle forskere mener, at det måske slet ikke kan forhindres.
Militæret udruller AI i højt tempo
Samtidig skruer forsvarsdepartementet op for brugen af AI. I januar lancerede det en "AI-accelerationsstrategi", og forsvarsminister Pete Hegseth sagde, at "AI kun er så godt som de data, det modtager".
Sidste december blev Googles Gemini for Government valgt som grundlag for militærets platform GenAI.mil, og sidste måned kom Grok for Government til som mulighed. I juni fortalte en Pentagon-repræsentant Kongressen, at 1,5 mio. aktive ansatte har brugt militærets generative AI-værktøjer.
Kravet om et menneske i kæden
I 2023 understregede en erklæring fra det amerikanske udenrigsministerium om ansvarlig militær AI-brug, at et menneske altid skal indgå i kommandokæden, og at brugen skal mindske utilsigtede ulykker.
Siden er helt autonome angrebsdroner taget i brug i krigen i Ukraine og testet af NATO-støttede militærentreprenører. I marts sortlistede forsvarsdepartementet Anthropic, fordi selskabet modsætter sig brug af sine modeller i autonome våbensystemer. Sidste måned kaldte en føderal dommer det "ulovlig gengældelse i strid med First Amendment".
Advarsler fra AI-forskere om udslettelseslignende risici har samtidig løftet AI-sikkerhed til en fremtrædende offentlig debat med krav om regulering.
Flere detaljer
- Anthropic tilbyder en tilpasset version af Claude til amerikansk spionagearbejde.
- Forsvarsdepartementet bruger også generativ AI til at skrive rapporter, som Kongressen kræver.
- Erklæringen fra 2023 om ansvarlig militær AI-brug blev fremlagt af det amerikanske udenrigsministerium.
Kilder:
Ars Technica AI → TechCrunch AI →
Genfortalt i egne ord af AI-nyheder.com · AI-genereret illustration · Tjek altid originalkilden, før du handler på vigtige oplysninger.