OpenAI beskyldes for uærlighed om træningsdata

01En ny beskyldning mod OpenAI

Endnu en matematiker beskylder OpenAI for ikke at være åben om, hvor selskabets træningsdata kommer fra.

Det sker få dage efter, at Tristan Buckmaster, professor i matematik ved New York University, offentligt spurgte, om OpenAI havde haft gavn af hans brug af Codex — et værktøj, der skriver kode for brugeren. Nu følger Andreas Thom efter på Mastodon.

Anledningen er et af de 10 resultater, OpenAI præsenterede sidste måned. Et af dem handlede om non-sofic groups: uendelige matematiske strukturer, der ikke kan tilnærmes med endelige. OpenAI indrømmede, at resultatet byggede tungt på tidligere arbejde af Thom og matematikeren Gábor Kun — og efter kritik rettede selskabet stille i sin tekst.

02Svaret ramte ikke spørgsmålet

Thom blev slået af "OpenAIs detaljerede beherskelse af vores teknikker". De var dengang ikke de mest oplagte eller lovende veje til en løsning.

Han skrev til OpenAI-forskerne Sébastien Bubeck og Mark Sellke, der også er statistiker ved Harvard, og spurgte, om hans samtaler med ChatGPT var "en del af træningsdata eller tilgængelige for ræsonneringsprocessen".

Svaret handlede kun om, hvorvidt samtalerne kunne tilgås direkte — ikke om de var havnet i de datamængder, selskabet bruger til at forbedre sine modeller. "Der blev ikke givet nogen forklaring eller bevis," skrev han. "Det betragter jeg som uærlighed, mildest talt."

03Kun OpenAI kan svare

Forskere kan ikke selv gennemsøge OpenAIs træningssystem for at se, om deres arbejde er brugt. "Kun OpenAI har de relevante data," siger Thom og peger på, at bevisbyrden derfor ligger hos selskabet.

Samme mønster så han ved en annonceret, endnu ikke verificeret løsning på Millennium Prize-problemet om Navier-Stokes-ligningerne, der beskriver væskers bevægelse. OpenAI skrev, at forskerne ikke havde set de involveredes arbejde, før det blev offentliggjort, men udelukkede ikke indirekte påvirkning: "Selv om det er usandsynligt, kan vi ikke udelukke, at de-identificerede data afledt af deres brug af vores produkter har hjulpet med at forbedre vores modeller."

Thom kalder skellet vildledende. "De-identifikation kan fjerne et navn; det fjerner ikke den intellektuelle substans i en matematisk idé."

04Frygt for et mere lukket felt

Thom siger, det "ville være etisk uforsvarligt", hvis ikke-offentliggjort forskning fra brugere forbedrede modeller, som selskabet bagefter brugte til at kapløbe med de samme brugere om at publicere.

Flere matematikere har sagt til The Verge, at de frygter, at den slags adfærd gør feltet mere hemmeligt. OpenAI svarede ikke umiddelbart på avisens henvendelse.