OpenAI-sikkerhedsansat kræver atomkraftsikkerhed for AI
David Robinson skrev sikkerhedsrapporter til hver stor modeludgivelse og kalder branchens kultur fundamentalt brudt.
Sikkerhedsrapportforfatter siger op og advarer
David Robinson skrev de sikkerhedsrapporter, der fulgte hver stor modeludgivelse fra OpenAI. Nu har han sagt sit job op og offentliggjort et essay i The Atlantic, hvor han kalder branchens kultur fundamentalt brudt.
Han beskriver Silicon Valleys 'move fast and break things'-kultur som præget af ekstrem selvtillid og uafbrudte sprint, hvor man bygger stadig større modeller med ukritisk optimisme, der ignorerer eller undervurderer potentielle problemer.
Robinson foreslår derfor atomkraftværkslignende sikkerhed: laboratorierne bag de mest avancerede modeller skal drives med lag af redundant planlægning, så uundgåelige menneskelige fejl ikke fører til katastrofe.
Kædereaktion af sikkerhedsopsigelser i AI
Robinson er blot den seneste i en voksende række sikkerhedsfolk, der har forladt store AI-firmaer. Jacob Coxon stoppede hos Anthropic og sagde offentligt, at AI kunne dræbe os alle inden årtiets udgang.
Også Robert O'Callahan, Bilal Chughtai og Josh Engels har forladt Google DeepMind, og Joe Benton har sagt op hos Anthropic.
Flere detaljer
- Robinson kræver også omhyggelig, tidskrævende planlægning i laboratorierne.
- Travle lufthavne er et andet eksempel på kravet om flere lag.
Kilder:
The Verge AI → TechCrunch AI →
Genfortalt i egne ord af AI-nyheder.com · AI-genereret illustration · Tjek altid originalkilden, før du handler på vigtige oplysninger.