VocabX skærer inferensregningen med 77 procent

01Karaktergiveren skrev skabelonen i mange brikker

En automatisk karaktergiver til portugisiske stilopgaver har kørt i produktion på Qwen3-4B, en åben sprogmodel med 4 milliarder parametre. Hvert svar følger den samme JSON-skabelon med de samme kompetencenavne og de samme vurderingsformuleringer.

Alligevel arvede modellen sin ordbog fra et generelt modelbyggeri. Tokenizeren — den del der deler tekst op i de brikker, modellen regner på — kløvede netop de gentagne sekvenser i mange brikker og slæbte samtidig 151.669 poster med, som opgaven næsten aldrig bruger.

02Læsning er billig, skrivning er dyr

Ved hvert genereret token scorer modellen hele ordforrådet. Det gør skrivning dyrere end læsning: Modellen læser input i ét samlet gennemløb, hvor hver vægt i hukommelsen genbruges, men skriver svaret ét token ad gangen, hvor grafikprocessoren mest venter på data.

I det målte tilfælde kostede et genereret token 7,4 gange så meget som et læst token. Forholdet afhænger af hardware, batchstørrelse og kontekstlængde, men retningen holder: Skrivning vejer tungest.

03Udskiftet ordbog halverede outputlaget

Teamet valgte ordforråd efter, hvad hvert token koster at generere, frem for hvor ofte det optræder. Metoden, VocabX, skifter den oprindelige ordbog ud med en mindre, domænespecifik og lader makroer indgå under et fast budget for, hvor stor ordbogen må være.

Outputlaget, der scorer alle mulige tokens, faldt fra cirka 152.000 til cirka 65.000 rækker. Den matrix udgør næsten 10 % af parametrene i Qwen3-4B og læses for hvert genereret token.

Resultatet er 77 % lavere målt inferensomkostning uden at skifte basismodel, data eller træningsopskrift. Tallene kommer fra et paper, som forfatterne endnu ikke har publiceret, og de kan ændre sig.