Box bygger Nvidia Nemotron ind i søgning
Box Content Retrieval skal lade AI-agenter hente relevante dokumentbidder hurtigere og billigere ved hjælp af Nvidias Nemotron Embed.
Agenter får bidder i stedet for hele dokumenter
På sin udviklerkonference viste dokumenttjenesten Box en ny funktion kaldet Box Content Retrieval. Den bygger Nvidias Nemotron Embed ind i kernen af Box' produkt, så AI-agenter, altså programmer der selv kan udføre opgaver, kan søge i dokumenter via metadata, altså oplysninger om indholdet, som modellen har skabt.
Nemotron Embed er en familie af frit tilgængelige indlejringsmodeller. Indlejring betyder, at tekst omdannes til en form, en AI kan sammenligne, så den kan finde beslægtede begreber i stedet for kun at matche nøgleord. I stedet for at agenten skal læse hvert dokument igennem, sender systemet de mest relevante bidder tilbage, siger Box-topchef Aaron Levie. Det skal give hurtigere, mere præcise og billigere forespørgsler for kunderne.
- Nvidias forventede hastighedsforbedring for forespørgsler
- 4 gange
- Nvidias forventede fald i fejl
- 20 %
- Nvidias forventede fald i tokenforbrug
- 90 %
Nvidia venter fire gange hurtigere svar
Kari Briski, Nvidias vicepræsident for generativ AI-software, forventer, at forespørgslerne bliver besvaret markant hurtigere, med færre fejl og langt lavere tokenforbrug. Et token er en lille tekstbid, som en AI-model behandler. Tallene er Nvidias forventning, ikke en offentliggjort måling fra Box.
Box nævner advokater som eksempel: De skal lettere kunne finde relevante klausuler og præcedenser, fordi Nemotrons indlejringer matcher begreber frem for blot nøgleord, også når ordvalget eller sproget er et andet.
Systemet er mere end åbne modeller
Selv om Nemotron-modellerne er frit tilgængelige, hviler systemet også på Box' eksisterende metadata og adgangskontrol. Det gør det ifølge Levie svært at genskabe fra bunden; han siger, at Box pakker fem teknologier ind i ét API, en programmeringsgrænseflade som andre systemer kan kalde.
Funktionen rulles ud til alle Box' Enterprise Advance-kunder i begyndelsen af næste år.
Flere detaljer
- En Nemotron-udgivelse i juli toppede RTEB, et benchmark for søgekvalitet.
Kilder:
TechCrunch AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.