Anthropic åbner systemer for METR-forskere
Seks forskere får kontorplads, værktøjer og fri publicering — Anthropic kan kun kræve snævre redigeringer.
METR får adgang som medarbejder
Anthropic giver seks forskere fra METR adgang til selskabets systemer på niveau med egne medarbejdere. METR er en nonprofit, der tester avancerede AI-modeller, og skal nu selv vurdere Anthropics modeller, sikkerhedspraksis og risikostyring.
Forskerne modtager bærbare computere fra Anthropic, kontorplads og adgang til interne værktøjer omtrent på niveau med selskabets egne risikovurderingsteams. Anthropic opfordrer sine medarbejdere til at dele information med dem, som de ville med en kollega.
- Antal METR-researchere med medarbejderniveau-adgang hos Anthropic
- 6 forskere
- Antal trin i Anthropics evaluator-system; kun METR er på topniveauet
- 3 niveauer
METR kan publicere uden selskabets godkendelse
METR vil selv udgive vurderinger af Anthropics risici, hændelser og praksis, og selskabet har opgivet retten til at blokere udgivelserne.
Anthropic kan stadig kræve, at oplysninger i smalle, foruddefinerede kategorier redigeres — kundedata, fortrolige advokatoplysninger og information om modelarkitekturer. METR frit beskrive redigeringerne offentligt og vurdere, om de var berettigede, så længe de ikke afslører det redigerede indhold.
Tre niveauer af uafhængig kontrol
Adgangen indgår i et tretrins-system, Anthropic er ved at bygge. I bundniveauet — fx bio-sikkerhedsorganisationen SecureBio — laver evaluatorerne snævre gennemgange og skal have godkendelse før offentliggørelse.
Mellemniveauet får mere information og kan publicere uden godkendelse. Topniveauet, som kun METR indtil videre indtager, giver fuld medarbejderadgang. Siden sidste uge af august er der blevet offentliggjort hændelser, hvor AI-agenter optræder uden for deres instruktioner, hver anden uge, hvilket har skærpet krav om uafhængig kontrol.
Amodeis løfte om evaluators indfriet
Torsdagens annoncering opfylder et løfte, som Anthropic-ceo Dario Amodei fremsatte i en september-essay, hvor han foreslog at placere eksterne evaluators inde i AI-laboratorier som første skridt mod at bremse teknologiens udvikling.
OpenAI lovede hurtigt det samme, og begge selskaber har sammen med Google, Meta, Nvidia og xAI siden skrevet under på en aftale med Det Hvide Hus om uafhængig gennemgang.
Flere detaljer
- METR er en nonprofit, der tester avancerede AI-modeller
- SecureBio er bio-sikkerhedsnonprofit i bundniveauet med snævre gennemgange
- Anthropic indgik uafhængig gennemgangsaftale med Det Hvide Hus
Kilder:
TechCrunch AI →
Genfortalt i egne ord af AI-nyheder.com · AI-genereret illustration · Tjek altid originalkilden, før du handler på vigtige oplysninger.