AI-nyhederMarc Millstone: AI-agenter skal passes på med nyt kontrolsystem
Forskere bag nyt system vil holde AI-agenter i snor – uden at de selv bestemmer. Opdagelsen kan gøre fremtidens AI langt sikrere at bruge.
Det nye system
Marc Millstone og kolleger har udviklet en metode, der kontrollerer AI-agenter udefra – altså ikke gennem agentens egen 'hjerne'. Det sker ved et såkaldt 'trusted tool boundary', hvor regler håndhæves, før agenten overhovedet når at handle. Det gør det umuligt for agenten at omgå politikkerne, selv hvis den er designet til at prøve.
Hvorfor det er nyt
Tidligere forskning har fokuseret på at få AI-agenter til selv at følge regler – men det fejler, når agenten bliver bedt om at gøre noget uventet. Det nye system flytter kontrollen udenfor, så selv en 'slyngelagent' ikke kan slippe udenom. Det kan blive afgørende for alt fra selvkørende biler til automatiske bankrådgivere.
Hvad nu?
Forskerne vil nu teste metoden i praksis, men du behøver ikke vente: Systemet kan nemt bygges ind i eksisterende AI-løsninger. For dig betyder det, at AI kan blive tryggere at stole på – uden at du skal krydse fingre for, at agenten opfører sig pænt af sig selv.
- Metoden hedder 'out-of-band policy enforcement' og virker uden for agentens egen logik.
- Kontrollen sker ved en grænseflade, hvor alle agentens handlinger tjekkes.
- Det forhindrer, at AI-agenter kan omgå sikkerhedsregler med kreative løsninger.
- Forskerne ser det som et nødvendigt supplement til at lære agenter at være 'gode'.
- Systemet kan bruges i mange brancher, hvor AI får lov til at agere selv.
Du kan snart bruge AI-tjenester, der er sikret udefra – så du ikke skal bekymre dig om, at agenten gør noget uforudset med dine data eller penge.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.