OpenAI åbner Decisions API for alle kunder
Det nye API bygger på ChatGPT Luna og skal ifølge OpenAI gøre valg hurtigere og billigere, med svartider ned til 100–180 millisekunder.
OpenAI genbruger ChatGPT Luna
OpenAI har gjort sin Decisions API bredt tilgængelig for alle kunder. Med API'et kan en udvikler give en model en række valgmuligheder og få den til hurtigt at vælge og angive, hvor sikker den er på valget.
OpenAI har ikke bygget en model, der er særligt kalibreret til beslutninger. Ifølge produktchef Nikunj Handa har teamet i stedet omkonfigureret ChatGPT Luna til at gøre modellens svar hurtigere og billigere.
Den store gevinst er hastigheden, siger Handa: fra et til tre sekunder til 100, 120 eller 180 millisekunder.
- TypeSafes værdiansættelse ifølge TechCrunch
- 7,6 mia. dollar
- Speak: tid mellem handlinger med Decisions API
- 1,4 s → 0,13 s
- OpenAI: svartid for Decisions API ifølge produktchef
- 100–180 ms
Speak skar svartiden til 0,13 sek.
Decisions API kommer ind i et marked, som TypeSafes Jev-model har skabt. Jev er en beslutningsmodel, der hurtigt kan vælge blandt muligheder og give en sikkerhedsvurdering.
Ifølge TechCrunch er TypeSafe, stiftet af en tidligere forsker ved OpenAI, værdisat til 7,6 mia. dollar. Softwareudviklere har brugt den slags modeller til at erstatte store sprogmodeller, der ellers bruges til at skrive og forstå tekst, i arbejdsgange hvor de er hurtigere og billigere.
OpenAI har testet API'et med Box, Datadog, Ramp og Speak. Speak, der laver AI-sproglærere, skar tiden mellem handlinger fra 1,4 sekund til 0,13 sekund ifølge CTO Andrew Hsu.
OpenAI brugte også produktet i sin Dots-stemmeassistent.
Jev vinder PacMan, men ikke indeksene
På offentlige benchmarks er billedet blandet. På AIM System One Index og Artificial Analysis Decision Index ligger den seneste Jev-model nr. 7 og nr. 3. OpenAIs beslutningsmodel ligger nr. 8 og nr. 14. D1 Ultra fra Liquid og Base Lab Elephant-1 topper indeksene.
Til gengæld topper den seneste Jev-model JevMan, en benchmark hvor beslutningsmodeller spiller PacMan. Opper AI, der har bygget testen, kalder spillet interessant, fordi det kræver hurtige valg ved hver krydsning.
Det er ikke klart, hvad der gør en god beslutningsmodel, ud over at den virker til ens arbejde. TypeSafe CEO Diogo Almeida mistror benchmarks og opfordrer til at afprøve modellerne selv.
OpenAI kan have en fordel i multimodalitet, altså evnen til at håndtere flere typer input som billeder. Ifølge Handa er Luna stærk til billedklassificering og viser bedre kalibrering, altså mere retvisende sikkerhedsvurderinger. Han ser også mulighed for at komme ned på 60 millisekunder, så API'et kan bruges på hver enkelt billedramme i en video.
Flere detaljer
- OpenAI placerede sine servere geografisk for at sænke ventetiden i regioner.
- TypeSafes modeller er de mest forespurgte på OpenRouter ifølge TechCrunch.
- OpenAI tilføjede stemme- og billedfunktioner til den offentlige version.
Kilder:
TechCrunch AI →
Genfortalt i egne ord af AI-nyheder.com · AI-genereret illustration · Tjek altid originalkilden, før du handler på vigtige oplysninger.