Hugging Face gør TPU til almindelig PyTorch-enhed
Med TorchTPU kører Transformers og Diffusers direkte på Googles TPU-chips uden omskrivning af koden.
TPU kræver ikke længere omvej via JAX
Hvis du tidligere ville køre PyTorch på Googles TPU-chips, måtte du oversætte koden til torch_xla eller skifte til JAX. Med TorchTPU bliver TPU blot endnu en enhed i PyTorch: du skriver almindelig kode og sender modellen til "tpu".
TorchTPU er en ny backend til PyTorch, der tilføjer native TPU-funktioner – herunder Pallas-kerner (lavt-faldende kodning til TPU-hardwaren), distribueret træning og integration med torch.compile for ekstra hastighed. Det installeres med én kommando på en TPU-VM.
- Hastigere decoding ved batch 64 på Qwen3-30B-A3B, Hub-kernel vs. standard
- 21,5×
- Hastigere decoding ved batch 64 på Gemma 4 26B-A4B, Hub-kernel vs. standard
- 12,8×
- Andel af testsuite-tests der bestås på TPU
- 96,5 %
Transformers og Diffusers kører direkte på TPU
For at indlæse en model fra Hugging Face Hub på TPU sætter du bare enhedskortet til "tpu" – modellen indlæses direkte på chippen. Koden ændres i én linje.
I Diffusers, som bruges til at generere billeder og video, er TPU nu en førsteklasses enhed. I debug-tilstand er ændringen blot en linje: pipe.to("tpu"). Til drift kan du tilføje ét compile-kald for bedre ydeevne, uden at pipeline-koden ændres.
Modeller, der er for store til én enkelt chip, kan fordeles automatisk over flere med TensorParallelConfig – så modellen aldrig skal være ét sted samtidig.
Optimum TPU overflødiggjort
Hugging Face havde tidligere bygget Optimum TPU for at give Transformers- og Diffusers-modeller understøttelse på TPU. Med TorchTPU'ernes native understøttelse er Optimum TPU ikke længere nødvendigt for at køre Hugging Face-modeller.
Hugging Face tester også løbende TPU-understøttelse ved at køre bibliotekets testsuite på TPU. Lige nu består 96.5 % af de TPU-kørende tests. Af 34 rapporterede fejl er 19 allerede rettet i TorchTPU-repositoriet.
Kerner giver op mod 21,5× hurtigere decoding
Kernels Hub indeholder færdige TPU-kerner skrevet i Pallas, som giver kontrol direkte på hardwaren. Hugging Face har også integreret kerner fra Tokamax-biblioteket i Mixture-of-Experts-modeller.
Målt på en TPU v6e-8 ved batchstørrelse 64 opnås decoding 21,5× hurtigere på Qwen3-30B-A3B og 12,8× hurtigere på Gemma 4 26B-A4B sammenlignet med standardimplementeringen.
Flere detaljer
- TorchTPU installeres med pip install torch-tpu på en TPU-VM
- Transformers v5 er bygget til at køre ethvert sted – nu også TPU
- TPU'er er tilgængelige på Google Cloud fra en chip til pods med tusindvis
- TPU-rapporter vises i et Transformers CI-dashboard (arbejde i gang)
Kilder:
Hugging Face → TechCrunch AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.