Mistral bygger taleagent i én pipeline
Voxtral 3 lytter i 50+ sprog, taler tilbage og udfører handlinger i realtid – fra 0,0035 dollar pr. minut.
Tre talemodeller og ét SDK
Mistral lancerer Voxtral 3: tre nye talemodeller og et SDK, som udviklere kan bygge stemmeagenter med.
En stemmeagent er en AI, der lytter, forstår, svarer med sin egen stemme og udfører handlinger undervejs – for eksempel at hente data eller booke en tid i et system.
Den skal lytte præcist på tværs af sprog og afbrydelser, ræsonnere over brugerens mening, tale med følelser og tage flere trin samtidig, ifølge Mistral.
De tre modeller er Voxtral Small Transcribe 3 og Voxtral Mini Transcribe 3 (lyd til tekst) samt Voxtral Mini TTS 3 (tekst til tale). SDK'en samler lytning, ræsonnering, værktøjskald og tale i én realtidspipeline.
- Ordfejl for Voxtral Small Transcribe 3, makrosnit over 45 FLEURS-sprog; lavere er bedre
- 4,0–4,1 %
- Tilsvarende for Whisper large-v3 på samme benchmark ifølge Mistral
- 14,9–16,0 %
- Ordfejl ved diarization over AMI, Switchboard og AISHELL-4; lavere er bedre
- 18,4 %
Hører 50 sprog og ved, hvem talte
De to transskriberingsmodeller understøtter 50 sprog – herunder 24 officielle EU-sprog og flere asiatiske og indiske sprog med få data.
De registrerer, hvem der sagde hvad, og opdager, hvornår en person er færdig med at tale, så agenten kan svare uden forsinkelse.
Stemmen tilpasser tempo, følelse og dialekt
Voxtral Mini TTS 3 har nye stemmer, der justerer følelse, tempo og betoning efter samtalen. De dækker 35+ sprog og 50+ dialekter.
Pro Voice-versionen gengiver en stemmes karakter, følelsesregister og stil på tværs af sprog – grundlaget er 30 minutters lyd.
Fra fransk henvisning til booket tid
I Mistrals eksempel får agenten en henvisning på fransk fra Dr Martin på Clinique du Parc, oversætter den og spørger, om tiden skal bookes.
Den foreslår tirsdag kl. 17.45, kalder værktøjet book_appointment(slot="Nov 3 17:45") og beder brugeren medbringe brevet og det franske sundhedskort carte Vitale.
4B parametre og pris pr. minut
Voxtral Mini Transcribe 3 har 4 milliarder parametre og koster 0,0035 dollar pr. minut lyd.
Adgang sker via Mistrals EU-hostede API eller ved selvudrulning på egen infrastruktur. Organisationen bestemmer, hvor lyden behandles, hvordan data håndteres, og om samtaler gemmes.
Benchmark-tallene er Mistrals egne
Mistrals målinger giver lavest ordfejl for Voxtral Small Transcribe 3: 4,0–4,1 % mod 14,9–16,0 % for Whisper large-v3.
Det er makrognemsnittet over 45 sprog i FLEURS-benchmarket, som alle syv modeller deler – japansk, koreansk, thai og kinesisk måles i tegnfejl. Lavere er bedre.
Ved diarization scorer Voxtral Small Transcribe 3 18,4 % mod Gemini 3.5 Transcribe 38,4 % på AMI, Switchboard og AISHELL-4. Det er producentens egne tal, ikke en uafhængig test.
Flere detaljer
- Kontekstbiasering forbedrer genkendelse af fagtermer uden finjustering af modellen.
- SDK'en henter oplysninger og betjener forretningssystemer undervejs i en samtale.
- De to transskriberingsmodeller fås i en Small- og en Mini-variant.
- Målingerne dækker 45 sprog, som alle syv sammenlignede modeller understøtter.
Kilder:
Mistral AI →
Genfortalt i egne ord af AI-nyheder.com · AI-genereret illustration · Tjek altid originalkilden, før du handler på vigtige oplysninger.