Spring til artiklen
nyhederModellanceringer
← Tilbage til nyhederne
Forskning · Hugging Face · 09.11.2026 · 2 min. læsning

Amazon-forskere skærer AI-eksperter fra i fællesskab

Metoden HOPE tager højde for samarbejde mellem dele af en sprogmodel, når den gør modellen mindre.

Færre eksperter kræver mindre hukommelse

Amazon-forskere har udviklet en metode, der fjerner dele af en AI-sprogmodel for at mindske dens behov for hukommelse. Metoden hedder HOPE og forsøger at bevare de dele, der arbejder godt sammen.

Forskerne undersøger modeller af typen Mixture-of-Experts. De består blandt andet af grupper af såkaldte eksperter, som hver især behandler dele af teksten. Kun nogle eksperter bruges ad gangen, men alle skal være til stede i hukommelsen, når modellen arbejder.

I Qwen3.5-122B er der eksempelvis 256 eksperter i hvert af modellens 48 ekspertlag. Kun otte eksperter i hvert lag bruges til en given tekstdel. Ifølge forskerne optager eksperterne omkring 95 procent af de cirka 250 GB hukommelse, som modellens parametre kræver.

HOPE ser på eksperternes samarbejde

Andre metoder vurderer typisk hver ekspert for sig, før de fjerner dem, der virker mindst vigtige. Men forskerne fandt grupper af eksperter, som ofte bliver aktiveret sammen. Hvis man fjerner én, kan det derfor påvirke arbejdet i en vigtig gruppe.

HOPE vurderer i stedet også forbindelserne mellem par af eksperter. Metoden bruger et sæt eksempeldata til at beregne en tilnærmelse til, hvor meget det vil ændre modellens behandling af teksten at fjerne en bestemt gruppe. Den beregner altså ikke den præcise ændring direkte.

Da forskerne fjernede halvdelen af eksperterne, fik HOPE den bedste gennemsnitlige placering blandt de sammenlignede metoder. I opgaver, hvor AI selvstændigt arbejder med programmering, var resultatet ifølge forskerne op til 6,1 procent bedre end med den næstbedste metode. Det betyder ikke, at HOPE var bedst i hver enkelt opgave.

Derfor er det interessantMetoden kan reducere en models behov for hukommelse uden yderligere træning, men fjernelsen af eksperter er permanent.

Kilder:
Hugging Face →

Læs dagens AI-nyheder på letlæst dansk →

Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.