Reflection åbner 501-milliarders model Beam for alle
Beam kan køre på egen hardware, læse 1 million tokens ad gangen og aktiverer kun ca. 23 mia. parametre pr. token.
Første model fra nyt amerikansk laboratorium
Beam er den første model fra det nye amerikanske laboratorium Reflection, og den udkommer med åbne vægte: vægtene kan hentes, køres på egen maskine og ændres.
Den er frigivet under Apache 2.0-licensen, som tillader både kommerciel brug og omdistribution.
Beam har dag-nul-understøttelse i transformers samt i bibliotekerne vLLM og SGLang, som bruges til at køre store modeller hurtigt, og den følger med et eget open source-harness skrevet i Rust.
- I alt, heraf ca. 23 mia. aktive pr. token (Reflection)
- 501 mia. parametre
- Kontekstvindue med tekst som eneste input
- 1 mio. tokens
- BF16-checkpoint i safetensors-format
- ca. 1 TB
Kun 23 milliarder parametre arbejder ad gangen
Beam er en mixture-of-experts-model: 501 milliarder parametre fordelt på 256 eksperter, hvor kun de 8 bedste vælges pr. token. Derfor svarer beregningen til ca. 23 milliarder aktive parametre.
Samtidig skal alle eksperter ligge i hukommelsen, så maskinen skal kunne bære en 501-milliarders model, selv om den regner i tempo med en langt mindre.
Indgangen er tekst alene, og kontekstvinduet er 1 million tokens. Af modellens 52 lag ser de 43 kun de seneste 512 tokens, mens 9 lag ser hele konteksten. Det holder væksten i mellemlageret nede.
Omkring 1 TB til den fulde model
Et checkpoint i BF16 fylder ca. 1 TB i safetensors-format. Et NVFP4-checkpoint, hvor de fleste vægte gemmes i 4 bit til NVIDIAs Blackwell-GPU'er, fylder ca. 280 GB.
Reflection anbefaler fire B200-GPU'er med 180 GB hver, så der også er plads til mellemlagre og samtidige forespørgsler; to B200'er kan lige akkurat bære vægtene.
Har man ældre GPU-serier uden Blackwell, findes der FP8-checkpoints beregnet til Hopper- og Ampere-chips.
Ydeevnetal er Reflections egne
Henvisningerne til benchmarks i kildematerialet kommer fra Reflection-teamet. Der er ikke læst uafhængige tests, så påstande om ydeevne bør tilskrives producenten.
Flere detaljer
- Apache 2.0 tillader både kommerciel brug og omdistribution.
- 43 af 52 lag bruger glidende vindue på 512 tokens.
- Reflection udlover 10.000 dollars i Hub-kreditter til de bedste Beam-projekter.
- Medfølgende opskrifter findes til både finjustering (SFT) og forstærkningstræning (RL).
Kilder:
Hugging Face →
Genfortalt i egne ord af AI-nyheder.com · AI-genereret illustration · Tjek altid originalkilden, før du handler på vigtige oplysninger.