OpenAI: GPT-6.1 Sol når 98 procent i COBOL-test
OpenAI hævder, at modellen kan oversætte gammel COBOL-kode til moderne sprog uden at ændre systemets adfærd. Eksperter advarer om, at det langt fra er nok.
OpenAI måler adfærd i test
OpenAI offentliggjorde 19. oktober en blog, hvor de hævder “substantial improvements” i deres nyeste AI-modellers evne til at migrere ældre kode. I deres egen test opnåede GPT-6.1 Sol 87 procents adfærdsbevarelse ved lav reasoning effort (hvor mange beregningstrin modellen bruger) og 98 procent ved højere reasoning.
Det betyder, at den oversatte kode opførte sig som originalen i testene. OpenAI understreger, at en migrering kun er vellykket, hvis alle tests består.
- GPT-6 Astra's adfærdsbevarelse ved lav reasoning effort i OpenAI's test
- 86 %
- GPT-6 Sol's adfærdsbevarelse ved lav reasoning effort
- 21 %
- GPT-5.6 Sol's adfærdsbevarelse ved lav reasoning effort
- 5 %
COBOL driver stadig bank og myndigheder
COBOL står for common business-oriented language og blev skabt i 1959. Ifølge IBM står det bag 80 procent af fysiske kreditkorttransaktioner og en stor del af online bank-systemer og ATM-transaktioner. Det bruges også i mange offentlige systemer som Social Security og IRS.
En grov estimat sætter den årlige omkostning ved COBOL-ineffektivitet til ca. 105 milliarder dollars for US GDP. Men at udskifte det er svært, fordi systemerne er for vigtige til at risikere at bryde, og mange programmører, der forstår dem, er pensioneret eller døde.
Eksperter: testene er langt fra virkeligheden
Vadim Zaytsev, lektor i software evolution ved University of Twente, siger, at “rewriting code is not the same as replacing a system”. Han har set et system med 250 millioner linjer COBOL, og koden er kun en del af problemet; data, integrationer og forventninger spiller også ind.
Arie van Deursen, professor i software engineering ved Delft University of Technology, kalder OpenAI’s blog “superficial” og mener, at testene er “lightyears” fra egentlig modernisering. OpenAI’s talsmand Oscar Haines erkender, at legacy code “is still far from a solved problem”.
Flere detaljer
- OpenAI's test omfattede også C++, Java, Kotlin, Python og Rust.
- Anthropic udgav i februar en 'code modernization playbook' uden benchmarks.
- Anthropic fremhæver Claude Code til at migrere COBOL til Java eller Python.
- IBM-aktier faldt efter Anthropics annoncering.
Kilder:
The Verge AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.