Intel finder vejen til pålidelig AI i virksomheder
Nye tests fra Intel viser, at AI-agenter kræver en helt anden opsætning end almindelige chatbots. Virksomheder bør fokusere på agenttæthed og responstid.
Hvad er problemet?
AI-agenter er mere end avancerede chatbots. De skal selvstændigt løse opgaver på tværs af systemer, data og arbejdsgange. Det stiller helt nye krav til hardware og styring, som de færreste virksomheder har styr på. Intel har testet sig frem til fem praktiske råd.
Agenttæthed er nøglen
Intel har målt, hvor mange agenter der kan køre per vCPU. Eksempelvis opfører 10 agenter på en 8-vCPU-maskine sig som 20 agenter på en 16-vCPU-maskine, når tætheden er den samme. For brugerrettede assistenter bør tætheden være lav, så responstiden holdes nede.
Nye måleregler
Gennemsnitlig CPU-belastning siger intet om AI-agenters performance. De arbejder i korte, intense udbrud. Derfor anbefaler Intel at måle på P95-latens - den tid, de 5 procent langsomste opgaver tager. Det giver et langt mere retvisende billede af brugeroplevelsen.
Hvor starter virksomhederne?
Ifølge Intel skabes der allerede værdi med AI-agenter inden for kodning, testkørsel, sagsbehandling, markedsanalyse og sikkerhedsgennemgang. De bedste resultater opnås, hvor der allerede er faste regler og målbare servicemål. Det handler om at skalere fra pilot til produktion uden at miste kontrollen.
- Intel brugte Terminal-Bench til at teste AI-agenters performance.
- Testene omfattede opgaver som kompilering, databaseoperationer og videoomkodning.
- AI-agenter veksler mellem at vente og lave korte, intensive beregninger.
- Skalering ud (flere systemer) er ofte bedre end skalering op (større system).
- Interaktive systemer kræver lavere agenttæthed end batch-systemer.
- Virksomheder bør først fokusere på automatisering af eksisterende regler.
Du risikerer langsomme AI-assistenter, hvis din virksomhed bare smider flere agenter på samme server. Intel viser, at den rigtige opsætning betyder alt for både hastighed og pris.
Kilder:
MIT Tech Review AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.