WD: AI-video på otte sekunder efterlader 500 MB
En video på knap 4 MB trækker over 500 MB data bagud, viser WD-måling. Selskabet advarer om, at lagerudgifter sjældent kommer med i AI-budgettet.
Otte sekunder bliver til 500 MB
En AI-model, der laver en videoklip på otte sekunder, leverer en fil på 3,97 MB i 720p til brugeren. Men ifølge harddiskproducenten WD's egne målinger efterlader samme opgave over 500 MB data på serveren: logfiler, cachet kontekst, mellemregninger i form af øjeblikkelige renders, back-ups og sikkerhedsregistreringer.
Det er omkring 130 gange mere, end brugeren ser. Forskellen er selve pointen: det, der sendes ud, er kun en lille del af det, der bliver liggende. WD måler internt og skriver, at billedet vokser til hundredvis af gigabyte per klip, når virksomheder laver længere video i højere opløsning.
- Filstørrelse på den 720p-video på otte sekunder, brugeren modtager
- 3,97 MB
- Relaterede data efterladt på back-end, cirka 130 gange outputfilen (WD's egne målinger)
- Over 500 MB
- Beslutningstagere i IDC-undersøgelse sponsoreret af WD
- 763
Inferens stopper aldrig og hober sig op
Træning af en model er et afgrænset projekt: den starter, bruger regnekraft og slutter. Inferens — når modellen svarer på et spørgsmål eller laver et billede — kører derimod hele tiden, og hver forespørgsel efterlader data.
McKinsey anslår, at efterspørgslen efter AI-inferens vokser med 35 % om året frem mod 2030, mod 22 % for træning. Ved årtiets udgang skulle inferens udgøre mere end 40 % af den samlede efterspørgsel i datacentre, ifølge det tal, som WD citerer.
GPU'er, der venter på data, koster dyrt
I en hvidbog fra analysehuset IDC, som WD har sponsoreret, peger en produktchef hos en stor cloududbyder på, at lager er det, der holder regnekraften i gang. "You can think of having more storage as an optimization for keeping the GPUs busy," siger han ifølge rapporten og tilføjer, at timer med ledig GPU-tid bliver meget dyr meget hurtigt.
Undersøgelsen omfattede 763 beslutningstagere inden for IT og forretning. Næsten 95 % svarede, at datamængden var vokset på grund af generativ AI det seneste år, og cirka 61 % rapporterede en vækst på 25 % eller mere.
Arkiver bliver råstof for nye svar
Når data bliver liggende, skifter de rolle. Det, der før røg i arkiv og sjældent blev hentet, kan nu gå ind i nye AI-svar via RAG, retrieval-augmented generation, hvor modellen henter relevante dokumenter frem, før den svarer. 96 % af de adspurgte forventer at få brug for hurtigere hentning fra arkiv.
WD anbefaler at bygge lageret i niveauer, så mest bruges på hurtige diske og de store, sjældent brugte mængder på harddiske, som har en lavere pris pr. terabyte.
Flere detaljer
- 96 % af de adspurgte forventer behov for hurtigere arkivhentning til inferens eller RAG.
- McKinsey venter 22 % årlig vækst i efterspørgsel efter træning frem mod 2030.
- Artiklen er produceret af WD og ikke skrevet af MIT Technology Reviews redaktion.
Kilder:
MIT Tech Review AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.