OpenAI's beviser halter efter matematikkens krav
719 offentliggjorte beviser mangler sporbarhed og formalisering, og Cambridge-forskere finder oversættelsesfejl i et Navier-Stokes-bevis.
719 beviser, få forklaringer
OpenAI har offentliggjort 719 manuskripter med påstande om løsninger til nogle af matematikkens sværeste problemer. Virksomheden oplyste, at den havde rådført sig med en rådgivningsgruppe af førende matematikere for at undgå kontroversen fra en tidligere model.
Rådgivningsgruppen Advisory Group on Mathematics and Artificial Intelligence (AGMAI) er samlet ved Institute for Advanced Study på Princeton. Det er et rådgivende organ med ni forskere fra institutioner over hele verden, og det offentliggjorde retningslinjer for AI-laboratorier i slutningen af september.
Dens første anmodning lød: stop med at teste avancerede matematiske problemer på proprietære modeller. OpenAI's offentliggørelse siger udtrykkeligt, at den netop vurderer proprietære modeller på åbne forskningsproblemer i matematik.
De fleste beviser er uigennemskuelige
Kun 10 af de 719 manuskripter indeholdt modellens chain of thought — den rækkefølge af overvejelser, der førte frem til konklusionen. Det havde AGMAI ellers bedt om.
42 % af proverne var ikke formaliseret, det vil sige ikke oversat til Lean, et programsprog, der kompilerer et bevis som kode og dermed kan verificere det for fejl. AGMAI bad også om maskellæsbar metadata, der forbinder naturligt sprog og formaliserede beviser — det leverede OpenAI ikke.
Cambridge finder fejl i oversættelse
Matematikere ved University of Cambridge og King's College London har udgivet en artikel, der dokumenterer mindst to uoverensstemmelser mellem et bevis på naturligt sprog og Lean-koden bag OpenAI's løsning til et problem udledt af Navier-Stokes-ligningerne, som beskriver væskers komplekse opførsel.
Fejlene beviser ikke, at nogen af versionerne er forkerte, men de rejser spørgsmålet, om man kan stole på modeller til selv at formalisere deres resultater uden menneskelig kontrol. Forfatterne konkluderer, at OpenAI's beviser ikke bør tages for gode varer uden samme fagfællebedømmelse som andre beviser.
Løsninger uden menneskelig forståelse
Terence Tao, en fremtrædende matematiker, der har kritiseret OpenAI's tilgang, skrev på sociale medier, at problemer bliver løst af "AI-promptere, der ikke har interesse i faget selv" og som ikke forstår outputtet godt nok til at svare på spørgsmål eller holde foredrag.
Harvard-professor i matematik Melanie Wood fortalte TechCrunch: "Der er ikke menneskelig forståelse af dem på udgivelsestidspunktet, og nu begynder arbejdet." Matematikere understreger, at når mennesker opdager nye resultater, deler de dem gennem artikler, foredrag og seminarer — en proces, der skaber forståelse og gør ny viden anvendelig.
Flere detaljer
- AGMAI samles ved Institute for Advanced Study på Princeton med ni forskere fra hele verden.
- OpenAI leverede ikke den maskellæsbar metadata, AGMAI bad om.
- Cambridge-artiklen har titlen "lost in translation".
Kilder:
TechCrunch AI →
Genfortalt i egne ord af AI-nyheder.com · AI-genereret illustration · Tjek altid originalkilden, før du handler på vigtige oplysninger.