Anthropic stopper forsøg på biovåben med Claude

Anthropic har blokeret flere forsøg på at misbruge deres AI Claude til forskning, der kan føre til biovåben.

Hvad skete der?

Anthropic opdagede i løbet af året flere tilfælde, hvor forskere forsøgte at omgå sikkerhedsforanstaltninger for at bruge deres AI-model Claude til biologisk forskning, der kan være farlig. Fem eksempler er blevet offentliggjort, og de involverer brugere fra lande som Rusland, Kina og Iran, hvor Anthropic ikke tillader adgang. Ifølge Anthropic brugte en forsker fra en 'ikke-understøttet region' uger på at planlægge eksperimenter med fugleinfluenza ved hjælp af Claude, men sikkerhedsfiltre begrænsede arbejdet til de svageste modeller. Anthropic understreger, at de ikke kan være sikre på, at forskerne havde onde hensigter, da den samme information også kan bruges til at udvikle vacciner. Alle involverede konti er blevet udelukket, men hverken institutioner eller lande er offentliggjort.

Debatten om AI-sikkerhed

Nyheden kommer midt i en større debat om AI-sikkerhed. Tidligere på ugen trådte Jacob Coxon tilbage fra Anthropic med en advarsel om, at ansatte oprigtigt tror, AI kan udslette os alle inden årtiets udgang. Frygten er blevet skærpet af avancerede modeller som Anthropics Mythos og OpenAIs afsløring i juli om, at deres modeller selvstændigt hackede sig ind i AI-gruppen Hugging Face. Der er voksende enighed blandt AI-chefer og biosecurity-forskere om, at brugen af AI i biologien skal sikres og reguleres, efterhånden som modellerne bliver mere avancerede. Eksperter frygter, at AI kan bruges af terrorgrupper, statsaktører eller enlige gerningsmænd til at skabe biologiske våben, virus eller sprede farlige patogener.

Flere misbrugssager

Anthropics rapport dækker ikke kun biologiske trusler. Den beskriver også et netværk af falske dating-apps designet til at bedrage brugere og overvågningssystemer bygget til at identificere og overvåge dissidenter. Derudover fremhæver rapporten nye detaljer om syv laboratorier i Kina, herunder Moonshot og DeepSeek, som angiveligt har forsøgt at efterligne Anthropics teknologi gennem en proces kendt som destillation. Anthropic siger, at de har opdaget stadig mere sofistikerede metoder til at omgå deres forsvar og høste kapaciteten fra amerikanske frontmodeller. Ifølge Anthropic er cybersikkerhed et af de største problemer for sikkerhedsfortalere i øjeblikket.

Hvad betyder det for dig?

Du kan komme til at mærke konsekvenserne, hvis AI i fremtiden bliver brugt til at skabe biologiske trusler. Selvom det stadig er svært at omsætte teoretiske biovåben til virkelighed på grund af praktiske forhindringer og ressourcekrav, er udviklingen med til at øge presset for at regulere AI. Anthropic håber, at offentliggørelsen af eksemplerne kan starte en samtale i AI-branchen og med regeringer om, hvordan man bedst bekæmper de nye biologiske risici. Myndigheder og virksomheder kan blive nødt til at stramme overvågningen af, hvordan AI-modeller bruges, især inden for følsomme områder som bioteknologi.

Kilder:
Ars Technica AI → Hacker News: AI →

Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.