AI-nyhederOpenAI's nye teknik skræmmer sikkerhedseksperter
OpenAI's Astra-model bruger en ny metode, der gør dens tankeproces sværere at følge. Det bekymrer eksperter, der frygter for overvågning af AI.
Metoden
OpenAI's kommende Astra-model bruger en teknik kaldet 'recurrent depth' eller 'opaque recurrence'. I stedet for at tænke lineært, behandler modellen det samme spørgsmål flere gange i en løkke. Det efterlader færre spor, som forskere kan følge, hvilket gør det sværere at opdage uregelmæssigheder.
Eksperternes frygt
Flere prominente stemmer er bekymrede. Buck Shlegeris fra Redwood siger, at han er 'ekstremt bekymret', hvis OpenAI udvider brugen af teknikken. Zvi Mowshowitz mener, at der kan være behov for lovgivning for at undgå et kapløb mod bunden blandt AI-laboratorier.
OpenAI's forsvar
OpenAI afviser, at Astra's tankeproces bliver ulaeselig. Chefforsker Jakub Pachocki understreger, at virksomheden altid har arbejdet for at bevare muligheden for at overvåge modellens tankerækker. Brugen af teknikken er begrænset i Astra, og selskabet har planer om omfattende kontrolsystemer.
Hvad nu?
Rapporter viser, at både Anthropic og Google DeepMind allerede diskuterer teknikken internt. Ryan Greenblatt fra Redwood advarer om, at hvis metoden skaleres op, kan modellerne ende med at tænke helt i latent rum. Spørgsmålet er, om det er for sent at bremse udviklingen.
- OpenAI's Astra-model bruger metoden 'recurrent depth' til at behandle forespørgsler.
- Teknikken gør modellens tankeproces mindre gennemsigtig for overvågning.
- Buck Shlegeris fra Redwood kalder nyheden 'ekstremt bekymrende'.
- Zvi Mowshowitz foreslår love mod et 'kapløb mod bunden' blandt AI-labs.
- OpenAI's chefforsker Jakub Pachocki forsvarer brugen og understreger kontrol.
- Både Anthropic og Google DeepMind diskuterer angiveligt teknikken.
- Ryan Greenblatt frygter, at modeller kan tænke fuldstændigt i latent rum.
Du kan miste tilliden til, at AI-modeller handler forudsigeligt, hvis deres tankeproces bliver uigennemsigtig. Det kan gøre det sværere at opdage fejl og skadelig adfærd i fremtidens AI-systemer.
Kilder:
TechCrunch AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.