AI-nyhederQwen3-4B presset ned i 1,58 bit – kører på almindelig mobil
Forskere har knust Googles Qwen3-4B til ternære bits, så den fylder langt mindre og kan køre på helt almindelige enheder.
Det nye trick
Et forskerhold har udviklet en metode, der efter træningen omskriver Googles store sprogmodel Qwen3-4B, så hver vægt kun lagres som en af tre værdier i stedet for mange flere. Det kaldes ternarisering og gør modellen markant mere kompakt – uden at den mister det meste af sin evne til at svare på spørgsmål.
Hvor meget sparer man?
Modellen fylder typisk omkring otte gigabyte, men efter metoden kan den ligge på ned til cirka 1,5 gigabyte. Det er en kæmpe forskel for telefoner og små computere. Samtidig kan den køre hurtigere, fordi regnestykkerne bliver simplere, når tallene kun har tre mulige værdier.
Kan den stadig tænke?
Det lyder næsten for godt, men forskerne viser, at den komprimerede model klarer sig overraskende godt i tests. Den er ikke helt på niveau med den store udgave, men tæt på – og for mange opgaver er forskellen ikke til at mærke. Effektivt bit-budget betyder, at hver bit bruges klogt.
Hvad betyder det?
Hvis metoden bliver udbredt, betyder det, at selv avancerede AI-assistenter kan køre helt lokalt på din telefon uden internetforbindelse. Det sparer både data og batteri og giver mere privatliv, fordi dine spørgsmål ikke skal sendes til en server.
- Modellen Qwen3-4B er udviklet af Google.
- Forskerne brugte en metode kaldet post-training ternarisering.
- Hver vægt i modellen gemmes kun som én af tre værdier.
- Det gør modellen op til 5 gange mindre i lagerplads.
- Ternariseringen sker efter at modellen er færdigtrænet – ikke undervejs.
- Den komprimerede model kan køre på enheder med begrænset hukommelse.
Du kan snart få avancerede AI-funktioner direkte i telefonen – uden at sende dine data til skyen og uden at skulle have den nyeste, dyreste model.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.