Jev udsender sandsynligheder i stedet for tekst
TypeSafe AI's Jev erstatter tekst med kalibrerede beslutninger. Vercel fik svar fem til 18 gange hurtigere, og efterspørgslen overbelastede kort API'et.
ChatGPT-pioner dropper sproget
Diogo Almeida var med til at bygge ChatGPT hos OpenAI og opfinde RLHF, den træningsteknik med menneskelig feedback, der har formet de senere års AI-modeller. Alligevel var han skuffet: Sprog er imponerende, men ikke det, automatiseringssystemer har brug for.
I denne uge udgav hans startup TypeSafe AI modellen Jev. Den er transformer-baseret, men er ikke en stor sprogmodel. Den svarer ikke med tekst, men med sandsynligheder, som firmaet kalder kalibrerede beslutninger.
- Vercels klassificering af kommandoer efter skift fra ChatGPT Luna 5.6 til Jev
- 5–18 gange hurtigere
- Gemini mod Jev ved klassificering af forretningsemails, ifølge Bryo AI's test
- 10–20 gange dyrere
Fem til 18 gange hurtigere hos Vercel
Pranit Sharma, softwareingeniør hos Vercel, brugte OpenAI's ChatGPT Luna 5.6 til at klassificere kommandoer for sikkerhed. Da Vercel skiftede Luna ud med Jev, blev svarene fem til 18 gange hurtigere og mere præcise.
Interessen var så stor, at TypeSafe kortvarigt mistede evnen til at betjene brugere fra sit API. Jevs output-tokens er gratis, og input-tokens måles i milliarder, ikke millioner.
Sandsynlighed som sikkerhedsnet
Nikhil Mudholkar, CTO i Bryo AI, testede Jev mod Gemini til at klassificere forretningsemails. Gemini var lidt mere præcis, men 10 til 20 gange dyrere. Vigtigere for ham: Jev leverer en rigtig sandsynlighed.
Armin Ronacher, CTO i Earendil, peger på, at det lægger problemet med hallucinationer over på brugeren. Er svaret kun 50 procent sikkert, kan man kassere det; er det 95 procent, kan man handle. Han ser også Jev bruge til at sende arbejdsopgaver videre til den rigtige model i realtid.
Kun trænet på syntetiske data
Almeida er fåmælt om Jevs arkitektur, og udenforstående formoder, at den bygger oven på en åben sprogmodel. TypeSafe kalder den en System One-model, der satser på intuition frem for ræsonnement.
Træningen bruger udelukkende syntetiske data med en teknik, Almeida kalder reinforcement learning from calibrated decisions. TypeSafe vil bygge flere versioner af modellen i nye modaliteter.
Flere detaljer
- Jev er opkaldt efter økonomen William Stanley Jevons og hans paradoks om faldende priser.
- Udenforstående formoder, at Jev bygger oven på en åben sprogmodel; Almeida er fåmælt om arkitekturen.
- TypeSafe kalder Jev en System One-model: intuition frem for ræsonnement.
- Almeida siger, at selskabet ikke er et frontier-lab, fordi han vil levere intelligens frem for frygt eller hype.
Kilder:
TechCrunch AI →
Genfortalt i egne ord af AI-nyheder.com · AI-genereret illustration · Tjek altid originalkilden, før du handler på vigtige oplysninger.