AI-nyhederKog vil gøre dine eksisterende GPU'er 30 gange hurtigere
Franske Kog vil bruge software til at presse langt mere kraft ud af de GPU'er, virksomheder allerede ejer – og lover 30x hurtigere AI-svar.
Det nye trick
Kog har vist, at helt almindelige datacentre-GPU'er som AMDs MI300X og Nvidias H200 kan svare meget hurtigere, hvis man optimerer softwaren i dybden. I en demo leverede de 3.000 tokens per sekund per forespørgsel – dog med en lille model. Nu vil de bevise, at samme metode virker på de store sprogmodeller.
Hvem får glæde af det?
Først og fremmest udviklere, der bruger værktøjer som Claude Code og i dag venter i timevis på svar. Kog har allerede fået 200 konkrete henvendelser fra interesserede virksomheder. Også folk, der genererer spil og apps med AI, kan tjene flere penge, når svarene kommer hurtigere.
Hvad nu?
Kog forventer at have en stor sprogmodel klar i september med 10x hastighed. Det skal overbevise skeptikerne og bane vejen for en større investeringsrunde. Holdet på 11 bruger uger på at dykke ned i hver ny chip – en metode, der minder om white hat hacking, hvor man forstår systemet helt ned til maskinkoden.
- Kog lover 30x hurtigere AI-inferens på eksisterende GPU'er.
- Demo viste 3.000 tokens per sekund på AMD MI300X og Nvidia H200.
- Den hurtige demo brugte dog kun den lille åbne model Laneformer 2B.
- Startuppen har fået 200 konkrete virksomhedshenvendelser siden maj.
- Næste mål: første store model med 10x hastighed i september.
- Kog er støttet af Scaleway, Bpifrance og French Tech 2030.
- Grundlæggeren har baggrund i solid-state fysik og white hat hacking.
Du kan få markant hurtigere svar fra dine AI-værktøjer uden at købe ny hardware – ventetiden på for eksempel Claude Code kan blive mange gange kortere.
Kilder:
TechCrunch AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.