Anthropic afslørede svindel: Tusindvis snydt med Claude
En forudbetalt konto sendte over 100.000 kald til Claude i døgnet. Det førte Anthropic til et netværk af datingapps, hvor AI-personaer stod for de fleste samtaler.
100.000 daglige kald afslørede netværket
Anthropic lod sin trusselanalytiker Chris Cronbaugh tale på cybersikkerhedskonferencen Sleuthcon. Normalt er selskabet fåmælt, men her fremlagde han indlægget “Swipe Right, Pay Up: Industrial-Scale AI Catfishing”.
Anledningen var aktivitet på AI-modellen Claude: en forudbetalt konto sendte over 100.000 API-forespørgsler i døgnet. Det afslørede et netværk på omkring 28 datingapps, hvor autonome AI-personaer – AI-profiler, der selv kan føre samtaler – stod for størstedelen af chatterne. Tusindvis af personer blev ifølge The Verge snydt af svindlere med AI.
- Fra en forudbetalt konto på Claude; aktiviteten udløste Anthropics undersøgelse.
- Over 100.000 API-forespørgsler i døgnet
- Netværk beskrevet af Anthropic.
- Omkring 28 datingapps
- Profiler, der var et rigtigt menneske; resten ifølge Anthropic AI.
- 1 ud af 4
Kun én af fire er et menneske
Ifølge Anthropic er brugerne for det meste mænd i midten eller slutningen af 30'erne. De matcher med profiler, de tror er rigtige kvinder. Men kun én ud af fire er et menneske, og den person er ikke en bruger, men en betalt gig-arbejder – en løsarbejder hyret til at bestå live-video-checks.
Gig-arbejderne skrev ikke selv kommentarer, men valgte mellem tre færdiglavede svar. AI-personaerne kunne ikke bevise, at de var mennesker, og henviste med en plausibel forklaring på, hvorfor video eller opkald ikke kunne lade sig gøre. Systemet fabrikerede likes, besøgende og video og registrerede, hvem der begyndte at mistænke en bot.
Appsene sælger coins til samtaler
Det er ikke en klassisk romancesvindel med penge eller kryptovaluta. Selve appen er svindlen: Den kræver coins for at fortsætte samtaler, og coins koster rigtige penge. Brugerne køber dem for at tale videre med nogen, de tror er mennesker, men som primært er maskiner. Gig-arbejderne holdt illusionen i gang, mens AI'en kunne fortsætte 24/7, efterhånden som coins strømmede ind.
Flere AI-modeller delte arbejdet
Ifølge rapporten var flere AI-udbydere involveret. Claude blev misbrugt til at drive de autonome samtalepersonaer. En lille model fra et andet selskab end Anthropic lavede de korte svarmuligheder, som gig-arbejderne trykkede på, samt scoring af ansigtsattraktivitet og moderation af foto og stemme.
Prompterne holdt personaerne konsistente, og AI'en blev ikke fortalt, at den indgik i en svindel, fordi “monetiseringen og bedrageriet ikke var synligt inde fra nogen udveksling”, skriver Anthropic. Sikkerhedsforskeren Matthew “Zigula” Gore-Kormanik fandt den interne protokol bag operationen; manualen var på kinesisk og lå ifølge The Verge sandsynligvis ved et uheld inde i datingappen Doni.
Flere detaljer
- Appene fremstod som almindelige datingapps; Dora, Romi og Doni er nævnt.
- Mange apps var stadig live i de store amerikanske app-butikker, mens Anthropic talte offentligt.
- Protokollen viste overvågning af gig-arbejdere og transskriberede opkald, som ansatte kunne hente.
- Gore-Kormanik fandt manualen på kinesisk inde i Doni, sandsynligvis ved et uheld.
Kilder:
The Verge AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.