Hugging Face-modeller kører nu direkte på AWS Trainium
TorchNeuron fjerner specialkoden: 89 procent af de mest brugte arkitekturer til tekstgenerering kører nu uden ændringer, ifølge Hugging Face.
TorchNeuron gør Trainium til en almindelig enhed
Tidligere leverede Hugging Face understøttelse af AWS Trainium gennem biblioteket Optimum Neuron. Trainium er en AI-chip fra AWS, og den gamle løsning krævede, at udvikleren tænkte som en kompilator: træge tensorer med udskudt beregning og kun faste formstørrelser.
TorchNeuron forandrer det ved at gøre neuron til en nativ enhed i PyTorch. Transformers, Diffusers, Accelerate, PEFT og TRL genkender Trainium uden særlig kode — samme klasser og scripts som på andre akceleratorer. Offentlig beta fra 20. oktober 2026.
89 procent af topmodellerne virker nu
TorchNeuron understøtter 89 procent af de 100 mest brugte arkitekturer til tekstgenerering direkte ud af boksen, ifølge Hugging Face. Med Optimum Neuron v0.4.5 var tallet kun 46 procent.
I praksis tilføjer udvikleren blot device_map=neuron i koden, hvorefter modellen flyttes automatisk til Trainium-enhederne.
Træning kører med samme standardbiblioteker
Træning følger samme mønster: forskerne behøver nu hverken en særlig trainer eller en Neuron-variant af modelkoden. Et standard finjusteringsscript fra TRL kører direkte på en Trainium-instans med kun et par Trainium-specifikke indstillinger.
Flere detaljer
- Offentlig beta fra 20. oktober 2026 med pip install torch-neuronx
- Statisk cache anbefales for at undgå hyppig genkompilering under tekstgenerering
- Understøtter eager mode, torch.compile, FSDP og tensor parallelisme
Kilder:
Hugging Face →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.