DeepMind opretter institut for debat om AGI
Fire essays skal åbne uenigheden om AGI — og peger på amerikansk kontrol med de mest avancerede modeller.
Tre direktører skal vise uenigheden
Google og forskere hos Google DeepMind lancerede onsdag DeepMind Institute. Instituttet skal samle debatten om AGI, artificial general intelligence, og fremhæve de forskellige synspunkter internt i Google og DeepMind og i den bredere forskerverden.
Tre direktører står bag: DeepMind-medstifter Shane Legg, Google-chef James Manyika og Demis Hassabis, formand for Google DeepMind. Legg er desuden managing editor.
Annonceringen lægger ikke skjul på uenigheden: De tre vil ikke altid være enige og skifter sandsynligvis mening, når ny data kommer frem. Første udgivelse er fire essays.
- Så længe før udgivelse en udvikler frivilligt kan få en model gennemgået i Hassabis' forslag
- 30 dage
Modellerne bliver sværere at læse
Et af de fire essays handler om AI'ens skrumpende gennemsigtighed — evnen til at se og tjekke en models trin-for-trin-ræsonnement. Sikkerhedsforskerne Rohin Shah og Anca Dragan skriver, at udviklingen ikke er uundgåelig.
Nye arkitekturer gør de stærkeste modeller sværere at overvåge, og udviklere og myndigheder bør tage sikkerhedsafvejningen direkte. Det kan betyde at begrænse "opaque serial depth" — mængden af sekventiel beregning en model kan udføre uden at efterlade et læsbart spor.
Et andet svar er at kræve, at udviklere beviser, at mindre gennemsigtige systemer stadig kan overvåges lige så godt.
Hassabis foreslår amerikansk kontrolorgan
Hassabis foreslår i et andet essay et amerikansk-ledet standardorgan, som skal vurdere de mest avancerede AI-modeller. Første skridt er frivilligt: udviklere kan sende modeller til gennemgang op til 30 dage før udgivelse. Viser systemet sig effektivt, kan beståede tests blive et krav for at udgive frontmodeller i USA.
Organet skal først udforme vurderingerne i samråd med AI-virksomhederne, men senere udvikle uafhængige, hemmeligholdte "held-out"-tests, så laboratorier ikke kan skræddersy modeller til de kendte prøver.
Hassabis skriver, at rammen kan "skrues op", hvis alvoren kræver det — muligvis med en koordineret opbremsning blandt udviklerne.
Debatten skifter mod konkrete krav
Essaysamlingen kommer, mens sikkerhedsdebatten bevæger sig fra brede bekymringer til konkrete forslag om åbenhed og udefrakommende kontrol — og om koordineret opbremsning, hvis sikkerhedsværkerne sakker bagud.
Skiftet tog fart i denne uge, da ledere i branchen bakkede op om dele af Anthropic-topchef Dario Amodeis opfordring til at "pace" udviklingen af front-AI.
Flere detaljer
- Essaysamlingen dækker økonomisk politik, læsbar modeltænkning, menneskelig blomstring og vurdering af frontmodeller.
- Shane Legg er medstifter af DeepMind og instituttets managing editor.
Kilder:
TechCrunch AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.