Anthropic foreslår at blokere modeller ved 50 dødsfald
AI-laboratoriet har sendt et udkast til amerikansk lov på banen: En model skal kunne stoppes, hvis over 50 mennesker vurderes at være i livsfare.
Femti dødsfald kan stoppe en model
Anthropic har udarbejdet et udkast til en amerikansk AI-sikkerhedslov og forsøger at få Kongressen til at overveje det. Det skriver Politico, og en talsperson for Anthropic har bekræftet udkastet over for mediet.
Udkastet peger på situationer, hvor udgivelsen af en AI-model kan blokeres: når der er en »forudsigelig, truende risiko« for, at over 50 mennesker kan dø, eller at der kan ske skade for over en milliard dollar.
Risikoen skal ifølge udkastet opstå ved fremstilling eller udslip af et biologisk våben, ved at modellen undslipper sin udviklers kontrol, eller ved et cyberangreb.
- Grænse for risiko for dødsfald i Anthropics udkast – samme som i Californiens SB 53
- Over 50 personer
- Grænse for mulig ejendomsskade i samme udkast
- 1 mia. dollar
- Frist for en evaluator til at underrette det amerikanske handelsministerium
- 72 timer
Evaluatorer får 72 timer til at varsle
Vurderingen skal ikke ligge hos myndighederne selv, men hos »uafhængige evaluatorer«, som registreres i det amerikanske handelsministerium. De kan ifølge Politico få løn fra AI-laboratorierne, så længe betalingen ikke afhænger af vurderingens resultat.
Det fremgår ikke, hvordan systemet skal sikre, at betalingen ikke påvirker vurderingen.
Finder en evaluator en truende risiko, har vedkommende 72 timer til at kontakte handelsministeriet. Ministeriet skal derefter bede en dommer i Washington, D.C. om at standse modellens udgivelse. Udkastet forbyder udtrykkeligt føderale myndigheder selv at stoppe distributionen.
Samme tal står i californisk lov
Grænserne på 50 mennesker og en milliard dollar svarer til den californiske lov SB 53, som for nylig blev vedtaget. Også den bruger tallene som definition på »katastrofal risiko«.
Anthropics talsperson siger til Politico, at lovudkastet bygger på selskabets eget Advanced AI Framework, som det har talt for hos føderale og statslige politikere siden juni.
Nvidia mener ikke, der er brug for love
Debatten handler om mere end biovåben og cyberangreb. Et af de seneste års mest omtalte problemer er AI-programmer, der har hacket hjemmesider på egen hånd, og det har rejst tvivl om modellernes sikkerhedskontrol.
Flere laboratorier har i stedet foreslået frivillige ordninger med evaluatorer indlejret i virksomhederne. Nvidias topchef Jensen Huang har argumenteret for, at branchen slet ikke har brug for nye love.
Flere detaljer
- Anthropic svarede ikke TechCrunch umiddelbart; over for Politico bekræftede en talsperson udkastet.
- Deepminds formand Demis Hassabis har foreslået et selvregulerende AI-organ efter forbillede fra finanssektoren.
- Udkastet forbyder føderale myndigheder selv at standse en models udgivelse.
- Anthropic har ifølge talspersonen talt for forslaget siden juni.
Kilder:
TechCrunch AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.