AI-nyhederNy AI-kompiler giver kæmpe hastighedsboost
Forskere har udviklet Nova, en ny AI-kompiler, der kan gøre store sprogmodeller markant hurtigere og billigere i drift.
Det nye værktøj
Nova er en helt ny type kompiler, specielt bygget til AI-modeller. Den oversætter koden, så AI'en kan køre hurtigere på både almindelige chips og specielle acceleratorer. Det betyder, at tunge opgaver som chatrobotter kan svare hurtigere, og at udviklere kan træne nye modeller på kortere tid.
Hvad kan det bruges til?
Med Nova kan virksomheder køre avancerede AI-systemer uden at skulle investere i dyre, specialiserede chips. Kompileren udnytter den eksisterende hardware bedre, hvilket både sparer penge og gør AI hurtigere. Det kan især hjælpe mindre virksomheder med at komme i gang med AI, uden at det koster en formue.
Hvorfor er det vigtigt?
AI-modeller bliver hele tiden større og mere komplekse, men hardwaren udvikler sig ikke lige så hurtigt. Nova løser en af de største flaskehalse ved at gøre softwaren smartere i stedet for at kræve ny hardware. Det kan betyde, at vi ser hurtigere og mere intelligente AI-apps i fremtiden, og at de bliver billigere for alle.
- Nova er en end-to-end kompiler bygget på MLIR-teknologi.
- Den er designet til at optimere deep learning-modeller på tværs af forskellige hardwaretyper.
- Kompileren kan reducere latens og energiforbrug for AI-opgaver.
- Den understøtter både træning og inferens af neurale netværk.
- Nova er udviklet af forskere og er tilgængelig som open source.
Du kan få hurtigere og billigere AI-tjenester i hverdagen, når virksomheder bruger Nova til at optimere deres modeller.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.