Olmo-core 3 når 1.200 milliarder parameter
Det åbne træningsværktøj bag næste Olmo gav 2,7 gange højere gennemstrømning på otte GPU'er og MXFP8-formatet 21 procent mere hastighed.
Eksperterne bliver liggende på GPU'erne
Olmo-core 3 er en opgradering af den åbne træningsramme omkring Olmo-modellerne, skabt til at træne MoE-modeller i meget stor skala. En MoE (mixture-of-experts) har mange specialiserede dele, men bruger kun fire per token – den lille tekstblok, modellen behandler.
Den forrige version samlede og omfordelte modelvægte ved hvert lille træningsbatch (FSDP, fuldt delt data parallelism). Olmo-core 3 lader i stedet eksperterne blive på GPU'erne – de grafikkort, modellerne trænes på – og sender data hen til dem (DDP, distribueret data parallelism).
- Gennemstrømning på 8 NVIDIA B300 GPU'er: 52.000 mod 19.400 tokens pr. sekund pr. GPU
- 2,7×
- MXFP8 mod BF16 på 4 NVIDIA B300 GPU'er i kontrolleret benchmark
- 21 %
- Top af aktiv hukommelse med MXFP8 aktiveret
- 103 → 95 GiB
2,7 gange hurtigere gennemstrømning
På otte NVIDIA B300 GPU'er bearbejdede en MoE-model på 47 milliarder parameter 52.000 tokens pr. sekund pr. GPU med den nye stak mod 19.400 med den forrige udgave – 2,7 gange så høj gennemstrømning.
I et andet benchmark voksede ekspertpuljen fra 8 til 128, mens der stadig kun blev valgt fire eksperter per token. De aktive parameter pr. token lå uændret på cirka 3,2 milliarder, det samlede omfang voksede fra 4,6 til 47 milliarder, og gennemstrømningen faldt med under 5 procent.
MXFP8 giver 21 procent mere hastighed
MXFP8 er et talformat, der repræsenterer nogle værdier med færre bit. I en kontrolleret test på fire NVIDIA B300 GPU'er gav det omkring 21 procent højere gennemstrømning end det højpræcise BF16-format, mens toppen af aktiv hukommelse faldt fra 103 GiB til 95 GiB.
De fleste gevinster kom fra feed-forward-beregningen og dataflytning mellem eksperter snarere end fra attention alene. Stakken samler desuden rowwise expert parallelism (data lægges direkte i eksperternes inputbuffers), GPU-resident routing (rutningsmetadata bliver på GPU'en) og grouped GEMM (mange små beregninger grupperes).
Skalaen er målt, ikke trænet
Olmo-core 3 er benchmarket med en model på 1.200 milliarder samlede parameter og 58,36 milliarder aktive pr. token på 512 GPU'er. Den højeste observerede gennemstrømning var 858 TFLOP/s pr. GPU – et mål for nyttig beregning pr. sekund på hver GPU.
Målingerne brugte tilfældig rutning for at teste systemets ydelse, ikke kvaliteten af en trænet model. Et eksperiment med DeepEP v2, en anden måde at styre kommunikationen mellem eksperter på tværs af GPU'er, nåede 2.380 milliarder samlede parameter som kort kapacitetstest, ikke som fuldt træningsforløb.
Flere detaljer
- DeepEP v2-konfigurationen nåede 2.380 milliarder samlede parameter i kort kapacitetstest.
- OlmoE brugte 64 routed eksperter; Olmo 3 var en tæt (dense) model.
- Interaktiv demo viser data-, eksperter- og pipeline-parallellisme fra én til mange GPU'er.
- Teknisk rapport, kode og demo er udgivet sammen med Olmo-core 3.
Kilder:
Hugging Face →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.