AI-nyhederDuplexSpeechBench-IFEval tester stemme-AI i telefonen
Ny forskning viser, hvordan man måler, om stemmeassistenter forstår underforståede ønsker – også når man afbryder dem midt i en sætning.
Det nye værktøj
Forskere har udviklet DuplexSpeechBench-IFEval, et testsystem der måler, hvor godt stemmeassistenter følger skjulte instruktioner i samtaler. Tidligere tests fokuserede på tydelige kommandoer, men denne undersøger, om AI'en fanger meningen bag ordene. For eksempel hvis man siger 'jeg fryser', og forventer at assistenten skruer op for varmen.
Helduplex i praksis
De fleste stemmeassistenter arbejder i halv duplex – de taler og lytter på skift. Det nye studies system tester fuld duplex, hvor begge parter kan tale samtidig. Forskerne undersøger, om AI'en forstår, når brugeren afbryder eller mumler noget undervejs. Det er tættere på rigtige telefonsamtaler, end hvad man tidligere har kunnet måle.
Hvorfor det haster
Stemmeassistenter bliver bedre, men vi mangler redskaber til at sammenligne dem ordentligt. Det her studie giver udviklere en metode til at se, hvilke modeller der faktisk forstår nuancerede samtaler. Uden sådanne benchmarks kan man ende med systemer, der lyder naturlige, men misforstår alt det usagte.
- Testen fokuserer på underforståede instruktioner, ikke kun direkte kommandoer.
- Systemet måler AI-assistenter i fuld duplex samtale, hvor begge parter taler samtidig.
- Forskningen adresserer huller i eksisterende evalueringsmetoder for stemmeagenter.
- Værktøjet kan hjælpe udviklere med at forbedre naturlige samtaler med AI.
- Den nye tilgang ligner mere rigtige menneskelige dialoger end tidligere tests.
Næste gang du taler med din telefons assistent, kan den bedre forstå din mening – selv når du afbryder eller ikke siger tingene højt.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.