AI-nyhederTileMix: Ny AI-metode gør chatbots hurtigere uden at miste kvalitet
Forskere har udviklet TileMix, en metode der kan gøre store sprogmodeller hurtigere og billigere at køre. Metoden vælger smart præcision pr. datablok og kan bane vejen for AI i hverdagen.
Hvad er nyt?
Forskere bag TileMix har fundet en måde at gøre opmærksomhedsmekanismen i store AI-modeller hurtigere. I stedet for at bruge samme præcision på alle data, deler de data i små blokke og vælger præcisionen blok for blok. Det sparer tid og regnekraft, mens kvaliteten bevares.
Hvorfor virker det?
Nogle dele af data er vigtigere end andre for AI'ens svar. TileMix udnytter det ved at bruge høj præcision på de vigtige blokke og lav på resten. Det gør beregningerne lettere, fordi modellen ikke bruger krudt på ligegyldig detalje. Resultatet er hurtigere og mere effektiv håndtering.
Hvad kan det bruges til?
For almindelige mennesker betyder det, at chatbots og andre AI-værktøjer kan blive hurtigere og måske køre direkte på din telefon i stedet for i skyen. Det kan gøre AI billigere for virksomheder og hurtigere for dig.
- TileMix deler data i blokke og vælger præcision pr. blok.
- Bruger høj præcision kun hvor det er nødvendigt.
- Kan reducere tid og regnekraft for AI-inferens.
- Bevarer kvaliteten af AI'ens svar.
- Skrevet af forskere under ledelse af Hanzhi Zhang.
Du kan få hurtigere og billigere AI-assistenter, der endda kan køre på din egen enhed. Chatbots kan svare øjeblikkeligt uden at skulle vente på skyen.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.