AI-nyhederSubquadratic og Manifest vil erstatte transformere
Startups som Subquadratic og Manifest AI vil erstatte transformer-teknologien bag ChatGPT med hurtigere og billigere alternativer.
Problemet med nutidens AI
Stort set alle sprogmodeller i dag bygger på transformere, som Google præsenterede i 2017. Men teknologien kræver enorme mængder regnekraft, især når teksterne bliver lange. OpenAI forventer at bruge 50 milliarder dollar på computere i år, og dataforbruget ventes at fordoble inden 2030.
Sådan vil de løse det
Startuppen Subquadratic fra Miami har udviklet modellen SubQ, der kun regner på de vigtigste ord i en tekst. Det gør modellen meget mere effektiv. Manifest AI har i stedet lavet en teknik kaldet power retention, der løbende laver et resume af konteksten, så modellen ikke skal holde styr på alt.
De nye modeller
Manifest AI har bygget PowerCoder og Brumby, som de mener kan måle sig med kendte open source-modeller. Liquid AI, et MIT-spinout, kombinerer transformere med såkaldte flydende neurale netværk. Deres modeller er langt mindre og bruger mindre energi, og de kører allerede i biler hos blandt andet Mercedes.
Hvad nu?
Ingen af de nye teknologier er bevist i stor skala endnu, og flere i branchen er skeptiske over for Subquadratics store løfter. Men hvis en af dem lykkes, kan det gøre AI markant hurtigere og billigere – og måske bane vejen for modeller, der kan meget mere end i dag.
- Transformere er grundlaget for alle store sprogmodeller i dag.
- Deres styrke er at sammenligne alle ord i en tekst for at forstå betydning.
- Det kræver mange udregninger og derfor meget strøm.
- Subquadratic siger, at deres model SubQ kan konkurrere på søgning og kodning.
- Manifest AI har lavet PowerCoder ud fra StarCoder og Brumby ud fra Qwen.
- Liquid AI laver små modeller til biler og andre enheder.
- Flere eksperter er skeptiske over for startup'ernes resultater.
Du kan opleve hurtigere og billigere AI-tjenester, hvis de nye teknologier virker. Samtidig kan din strømregning og miljøet få glæde af mere effektive modeller.
Kilder:
MIT Tech Review AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.