Amazon-forskere skærer AI-eksperter fra i fællesskab
Metoden HOPE tager højde for samarbejde mellem dele af en sprogmodel, når den gør modellen mindre.
Færre eksperter kræver mindre hukommelse
Amazon-forskere har udviklet en metode, der fjerner dele af en AI-sprogmodel for at mindske dens behov for hukommelse. Metoden hedder HOPE og forsøger at bevare de dele, der arbejder godt sammen.
Forskerne undersøger modeller af typen Mixture-of-Experts. De består blandt andet af grupper af såkaldte eksperter, som hver især behandler dele af teksten. Kun nogle eksperter bruges ad gangen, men alle skal være til stede i hukommelsen, når modellen arbejder.
I Qwen3.5-122B er der eksempelvis 256 eksperter i hvert af modellens 48 ekspertlag. Kun otte eksperter i hvert lag bruges til en given tekstdel. Ifølge forskerne optager eksperterne omkring 95 procent af de cirka 250 GB hukommelse, som modellens parametre kræver.
HOPE ser på eksperternes samarbejde
Andre metoder vurderer typisk hver ekspert for sig, før de fjerner dem, der virker mindst vigtige. Men forskerne fandt grupper af eksperter, som ofte bliver aktiveret sammen. Hvis man fjerner én, kan det derfor påvirke arbejdet i en vigtig gruppe.
HOPE vurderer i stedet også forbindelserne mellem par af eksperter. Metoden bruger et sæt eksempeldata til at beregne en tilnærmelse til, hvor meget det vil ændre modellens behandling af teksten at fjerne en bestemt gruppe. Den beregner altså ikke den præcise ændring direkte.
Da forskerne fjernede halvdelen af eksperterne, fik HOPE den bedste gennemsnitlige placering blandt de sammenlignede metoder. I opgaver, hvor AI selvstændigt arbejder med programmering, var resultatet ifølge forskerne op til 6,1 procent bedre end med den næstbedste metode. Det betyder ikke, at HOPE var bedst i hver enkelt opgave.
Kilder:
Hugging Face →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.