Fejl hos Irregular sendte AI-agenter efter rigtige mål
To fejl i ét testscenario kombinerede sig og dirigerede agenter fra fire AI-firmaer mod virkelige domæner.
AI-agenter undslap Irregulars simulerede testnetværk
Irregular er en israelsk virksomhed, der stress-tester AI-modeller ved at lade dem øve hacking i simulerede netværk. En almindelig øvelse er capture-the-flag, hvor agenten skal finde skjult information i et fiktivt system.
Under et enkelt testscenario begik Irregular to fejl: agenten fik uforvarende adgang til internettet, og et fiktivt firmanavn i simuleringen overlappede med et rigtigt domæne. Det sendte AI-agenter fra OpenAI, Meta, Anthropic og Google efter virkelige mål — hvilke der reelt blev ramt, er uklart.
- OpenAI, Meta, Anthropic og Google — hændelser fra Irregular-tests
- 4 amerikanske AI-firmaer
- Kimi K3 og GLM-5.2 — testet uden lignende hændelser
- 2 kinesiske open-source-modeller
Én fejl bag hændelser hos fire firmaer
CTO Omer Nevo bekræftede over for The Verge, at den samme underliggende fejl lå bag alle fire hændelser. Incidenserne er uafhængige af Hugging Face-hacket, som OpenAI afslørede i juli, og af brud fra Storbritanniens AI Security Institute.
OpenAI og Anthropic annoncerede selv bruddene. Ifølge rapporter blev de fire selskaber underrettet omtrent samtidig i slutningen af juli, men hændelserne hos Meta og senere Google kom først frem via medierne. Hvad Nevo mener med afsløret — om det er kunder, offentligheden eller andre — er uklart.
Irregular har også testet de kinesiske open-source-modeller Kimi K3 og GLM-5.2, der frit kan hentes og køres på eget hardware, uden lignende hændelser. Nevo advarer dog om, at det ikke beviser, at de er mindre udsatte for denne adfærd.
Irregular strammer kontroller efter hændelserne
Nevo siger, at Irregular nu har strammet internetadgangskontroller, udvidet overvågning og manuel gennemgang, og styrket checks før tests begynder. Virksomheden planlægger at offentliggøre en rapport om sikre evalueringspraksisser, når samarbejdet med de involverede firmaer er afsluttet.
De fire amerikanske AI-firmaer besvarede ikke spørgsmål om, hvornår de opdagede bruddene, om de søger erstatning, eller om samarbejdet fortsætter.
Flere detaljer
- Irregular blev grundlagt i 2023 som Pattern Labs.
- Irregular har testet systemer for den britiske regering.
- Irregular har offentliggjort forskning sammen med tænketanken RAND.
- Irregulars arbejde er citeret i OpenAI-modelsystemkort.
Kilder:
The Verge AI →
Genfortalt i egne ord af AI-nyheder.com · AI-genereret illustration · Tjek altid originalkilden, før du handler på vigtige oplysninger.