GRPO får små AI-modeller til at lære stabilt
Forskere fandt at små AI-modeller lærer stabilt når de kun vælger mellem faste handlinger i stedet for uendelige justeringer.
Problemet de løste
Små AI-modeller har svært ved at lære at styre noget kontinuerligt, som at dreje en robotarm præcist. Deres læring spræller og går sjældent i mål. Forskerne opdagede at roden til kaosset ligger i måden modellen vælger sine handlinger på.
Den simple løsning
Ved at tvinge AI'en til kun at vælge mellem et begrænset sæt af faste handlinger – i stedet for uendelige små justeringer – begyndte selv små modeller at lære stabilt. Metoden kaldes GRPO og ligner at give modellen et sæt terninger i stedet for en uendelig glidende skala.
Hvad det betyder for dig
Opdagelsen kan bane vej for billigere og mindre AI-styret elektronik – fra hobbyrobotter til køkkenmaskiner – som kan lære opgaver uden at være koblet til skyen. Teknikken gør det muligt at køre avanceret kontrol på almindelige mikrochips.
- Små modeller med kontinuerlige handlinger fejler ofte eller svinger voldsomt under træning.
- GRPO står for Group Relative Policy Optimization og bygger på tidligere forskning.
- Metoden virker ved at begrænse handlinger til diskrete valg som 'venstre', 'højre' eller 'stop'.
- Forskerne testede metoden på simuleret robotstyring og fik stabil læring.
- Diskrete handlinger gør at modellen kan generalisere bedre uden at skulle huske uendelige nuancer.
Du kan fremover få smartere og billigere produkter – fra robotstøvsugere til legetøj – der lærer opgaver uden dyr skykraft.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · AI-genereret illustration · Tjek altid originalkilden, før du handler på vigtige oplysninger.