EXL: AI'ens flaskehals ligger uden om modellen
Virksomheden EXL peger på »serving harness«, systemet rundt om modellen, som det sted hvor AI bliver stabil og økonomisk i drift.
Modellen er ikke hele systemet
Når en AI-model skal bruges i drift og ikke bare i en demonstration, afgør systemet omkring den, om svarene kan leveres stabilt, billigt og i stort omfang. Det system kalder EXL for en serving harness: arkitektur, hukommelsesstyring, planlægning af opgaver og optimeringer, som tilsammen gør modellens intelligens til en produktionsevne.
Ifølge EXL findes der ikke én universelt bedst model. Behovet bestemmer rammerne. En kundevendt assistent, der skal svare hurtigt, stiller andre krav end en dokumentbehandling, der kan køre om natten. I drift dukker begrænsninger op, som få testbrugere skjuler: svartid, samtidige forespørgsler, hukommelsespres og udgifter til GPU-kraft.
EXL påpeger, at en model med lidt bedre svar ikke nødvendigvis er det bedre produktionsvalg, hvis den fordobler udgiften til inferens, altså selve afviklingen af modellen.
GPU-hukommelsen løber tør før regnekraften
Hukommelsen på grafikkortet er et konkret eksempel. Under inferens står modellens vægte fast, mens en såkaldt KV-cache vokser med antallet af aktive forespørgsler og kontekstens længde. Øget samtidighed kan derfor tømme den brugbare GPU-hukommelse, selv om der stadig er regnekraft tilbage — og mere regnekraft løser ikke den flaskehals.
EXLs råd er at måle, før man optimerer: find den begrænsning, der betyder mest, fjern den, mål resultatet og se, om en ny flaskehals har overtaget. Teknikker som kvantisering, spekulativ dekodning og optimerede attention-mekanismer giver først værdi, når de rammer den rigtige begrænsning. EXL advarer mod at samle på dem som Pokémon-kort.
Et modelskifte skal ikke kræve ny platform
Dagens førende model er næppe morgendagens, og både hardware og optimeringsteknikker udvikler sig. EXL argumenterer for, at arkitekturen skal gøre det lettere at optage den slags skift, så et modelskifte bliver en vurdering og en konfigurationsændring i stedet for en større ombygning.
Ifølge EXL har virksomheder i stigende grad adgang til de samme modeller. Forskellen ligger i, hvor effektivt man omsætter dem til resultater. Argumenterne er fremlagt i EXLs serie »Engineering the Harness«.
Flere detaljer
- Kilden er sponsoreret indhold produceret af EXL, ikke MIT Technology Reviews redaktion.
- EXL nævner kvantisering, spekulativ dekodning og optimerede attention-mekanismer som eksempler på optimeringer.
- KV-cachen vokser med aktive forespørgsler og kontekstlængde under inferens.
Kilder:
MIT Tech Review AI →
Genfortalt i egne ord af AI-nyheder.com · AI-genereret illustration · Tjek altid originalkilden, før du handler på vigtige oplysninger.