AI-nyhederNvidia: Sneglen, ikke hjernen, er vigtigst for AI
Ny forskning viser, at den ydre ramme om en AI-model betyder mere end modellen selv. Med en særlig ramme fik en model 100 procent i en svær test.
Det store fund
Forskere fra Nvidia har vist, at det er 'harnessen' – alt det udstyr og de værktøjer, der omgiver en AI-model – der afgør, hvor godt den klarer svære opgaver. Uden den ekstra hjælp klarede modellen Claude Opus 5 kun 30 procent i en krævende test, men med en specialbygget ramme med en slags chef-komponent fik den 100 procent. Testen kaldes ARC-AGI-3 og handler om at løse små spil uden nogen instruktioner.
Hvad er en harness?
Tænk på en AI-model som en hjerne, men hjernen kan ikke meget alene. Harnessen er alt det, der giver hjernen arme og ben: hukommelse, værktøjer og feedback. Nvidia-forskeren Adel El Hallack siger, at verden ofte ser en AI-agent som bare modellen, men faktisk er det hele systemet, der tæller. Uden en god ramme kan modellen nemt fare vild i lange opgaver, som kræver mange beslutninger over tid.
Andre har set det samme
Nvidia er ikke alene om opdagelsen. Microsoft testede 19 forskellige modeller på lange dokumentopgaver og fandt fejl i alle – selv de dyreste. OpenAI blev så irriteret over sine egne modellers dårlige resultater – under 10 procent – at de selv forsøgte at fifle med indstillingerne og fik scoren til at tredobles. Men ingen ramte 100 procent, som Nvidia gjorde med deres supervisor-ekstra.
Hvad betyder det?
Det betyder, at valget af model ikke er alt. Databricks-chefen Ali Ghodsi siger, at en dårlig harness kan fordoble dine udgifter, selvom du bruger en billig model. Nvidia mener, at åbne systemer giver brugerne mere kontrol. De laver selv dele til harnesses under navnet Nemo, og noget er gratis. Pointen er: Du kan selv skrue på rammen for at gøre din AI bedre – uden at vente på en ny model.
- Nvidia brugte en supervisor-komponent, der fungerer som en chef og hjælper modellen, hvis den kører fast.
- Harnessen inkluderer hukommelse, værktøjer og feedback, som modellen ikke har selv.
- OpenAI tredoblede sine resultater ved bare at ændre to indstillinger i harnessen.
- Databricks viste, at en forkert harness kan fordoble AI-omkostningerne.
- Microsofts test af 19 modeller fandt fejl i dokumentredigering hos alle modellerne.
- Nvidias egen harness kaldes AVO og er ikke et kommercielt produkt endnu.
Du behøver ikke vente på den næste store model for at få bedre AI-resultater. Ved at justere værktøjerne omkring modellen kan du få smartere og billigere hjælp – også uden at være ekspert.
Kilder:
TechCrunch AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.