Stephen Morris: Spilteori kan styre AI-agenter
Reverse game theory designer incitamenter, så AI-agenter vælger at følge reglerne, uden at forskere behøver at forstå deres indre.
Spilteori vendt på hovedet
En ny tilgang kaldet reverse game theory vinder frem blandt AI-sikkerhedsforskere. I stedet for at prøve at forstå AI-modellers indre vil de designe regler, der gør det rationelt for modellen at opføre sig ordentligt.
Reverse game theory, også kendt som mechanism design, vender spilteori på hovedet. Spilteori forudsiger, hvordan rationelle aktører handler under givne regler. Mechanism design designer regler, der fremkalder ønsket adfærd. Et klassisk eksempel er kagedeling: Den ene skærer, den anden vælger først, så skæreren laver lige store stykker.
I AI starter metoden fra den antagelse, at vi måske aldrig forstår de mest avancerede modellers indre godt nok. Derfor skal vi designe incitamenter, der virker uanset hvad der foregår indeni.
Belønning for at forudsige snyd
Et nyt studie fra Stephen Morris, økonom ved MIT, og kolleger fra Yale og Columbia foreslår konkrete mekanismer mod 'sandbagging' – når en model bevidst præsterer dårligt for at undgå sikkerhedsmekanismer.
I stedet for kun at belønne en model for testresultater kan man belønne den for, hvor godt dens svar forudsiger en anden models svar. Så bliver det en dårlig forretning at spille dum. 'AI-agenter har en meget god forståelse af, hvad andre AI-agenter kan præstere,' siger Morris.
Hazan vil efterligne samfundet
Elad Hazan, professor i datalogi ved Princeton, vil låne mekanismer fra menneskelige samfund: sociale normer, retssystemet og kapitalismens incitamenter. 'Vi vil aligne superintelligent AI – få den til at følge menneskelige ønsker,' siger han. 'Hvorfor taler vi ikke først om mennesker?'
Hans forslag er at lade AI-modeller skiftes til at være 'solvers', der løser problemer, og 'auditors', der tjekker de andres arbejde. Under træning belønnes de efter udfald: Solvere, der fanges i at snyde, straffes, men det gør auditorer, der ikke fanger snyderne, også. Ved uenighed kan sagen gå til 'ret'.
Hazan erkender, at agenter kan samarbejde om at snyde. Det kan modvirkes ved at belønne auditorer godt nok og ved at auditere auditorerne med 'mystery shoppers'.
Men metoden bygger på, at AI-agenter handler rationelt. Det er usikkert. 'Er det overhovedet rimeligt at antage, at de vil reagere på incitamenter?' spørger Helen Qu fra Flatiron Institute. Morris indrømmer: 'AI'er er ikke rationelle.'
Flere detaljer
- Claude har en forfatning – en slags moralkodeks.
- Gary Becker introducerede 'den rationelle lovovertræder' i 1960'erne.
Kilder:
MIT Tech Review AI →
Genfortalt i egne ord af AI-nyheder.com · AI-genereret illustration · Tjek altid originalkilden, før du handler på vigtige oplysninger.