PyTorch 2.15 giver Mac FP8 og hurtigere MoE
Native grouped matmul og hurtigere softmax presser dekodingen op på 61,3 tokens/s, mens Wan2.2s video-VAE-dekoding falder til 8 GiB.
FP8 giver plads til større modeller
PyTorch 2.15 gør Mac'en bedre til at køre og træne modeller. Opdateringen tilføjer talformatet torch.float8_e4m3fn til PyTorch's Metal-baggrund (MPS), der lader PyTorch bruge Mac'ens grafikchip. FP8 bruger én byte pr. værdi, halvdelen af FP16 og BF16.
Til at gange de små tal bruger man F.scaled_mm med tilhørende skalaer. Funktionen understøtter både én skala pr. tensor og én skala pr. række og findes nu også på MPS.
- Qwen3.6-35B-A3B på M3 Ultra, PyTorch 2.14 mod 2.15
- 9,4 → 61,3 tokens/s
- Dekoding i MoE-modeller, 2.15 mod 2.14
- 5–6,5×
- Geometrisk gennemsnit over 96 BF16-lagformer
- 1,23×
Qwen3.6-35B-A3B hopper til 61,3 tokens/s
Under dekoding sender en sprogmodel ét token ad gangen gennem modellen, så store matrixmultiplikationer bliver til matrix-vektor-produkter. Her har MPS tidligere sendt arbejdet gennem Apples graf-framework MPSGraph; 2.15 kobler i stedet specialiserede matrix-vektor-kerner på. Hugging Faces PyTorch-team måler 1,23× hastighedsforbedring i geometrisk gennemsnit over 96 BF16-lagformer fra rigtige modeller.
Størst er effekten for MoE-modeller (mixture-of-experts), hvor kun en del af modellen er aktiv pr. token. En indbygget version af grupperede matrixmultiplikationer læser gruppeforskydningerne direkte på GPU'en i stedet for at kopiere dem til CPU'en og gennemløbe grupperne. På en M3 Ultra går Qwen3.6-35B-A3B fra 9,4 til 61,3 tokens/s, og dekoding i MoE-modeller er 5–6,5× hurtigere end i 2.14.
Wan2.2s video-VAE dekoder i 8 GiB
Video på Mac har også fået et løft. Når Wan2.2s video-VAE dekoder en latent repræsentation til pixels, topper hukommelsesforbruget nu ved 8 GiB i stedet for 270 GiB. En VAE er en modelkomponent, der oversætter mellem komprimerede latenter og billeddata.
MPS kræver macOS 15 og Python 3.11
Opdateringen kræver macOS 15 eller nyere og Python 3.11 eller nyere. Hvis systemet er for gammelt, eller der ikke er en Metal-GPU, fortæller MPS-tilgængelighedstjekket nu hvorfor.
Derudover bliver MPS-streams offentligt tilgængelige fra Python, så programmer kan styre rækkefølgen af arbejde på grafikchippen. Tidsmålingen af hændelser bliver mere pålidelig. Der er allerede et smugkig på PyTorch 2.16 med opmærksomhedsberegningen (attention) helt på Metal og flere MPSGraph-til-Metal-flytninger.
Flere detaljer
- Softmax over ordforrådet er cirka 8× hurtigere i 2.15.
- Komplekse LU- og trekantsløsninger samt hurtigere QR-dekomponering er også kommet til MPS.
- Konvolutioner, padding, dropout og interpolation-backward har fået hurtigere veje.
- PyTorch 2.16 ventes med attention helt på Metal og flere MPSGraph-til-Metal-flytninger.
Kilder:
Hugging Face →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.