AI-nyhederAnian: AI-chatbot med indbygget sikkerhedsventil
Forskere har bygget en AI-assistent til psykisk støtte, der selv stopper op, hvis samtalen bliver for risikabel. Den skal beskytte sårbare brugere mod skadelige svar.
Det nye system
Forskere bag projektet Anian har udviklet en AI-assistent, der kombinerer tekst, stemme og billeder for at hjælpe mennesker med psykiske problemer. Det særlige er en indbygget sikkerhedsventil: Systemet vurderer løbende risikoen i samtalen og kan vælge at svare forsigtigt – eller helt undlade at svare, hvis situationen virker farlig.
Sådan virker den
Anian bygger på en hierarkisk model, der holder styr på brugerens tilstand på flere niveauer – fra øjeblikkelige følelser til langsigtede mønstre. Risikoen bliver så sammenvejet på en konservativ måde, så systemet hellere siger for lidt end for meget. Til sidst styres svarene, så de aldrig opmuntrer til skadelig adfærd.
Hvorfor det betyder noget
Mange AI-chatbots kan i dag give støtte, men de mangler ofte evnen til at genkende faresignaler. Anian forsøger at lukke det hul ved at gøre sikkerhed til en kernefunktion – ikke en eftertanke. Det kan være et skridt mod mere ansvarlige digitale hjælpere, især i følsomme områder som mental sundhed.
- Anian er en multimodal AI, der forstår tekst, tale og billeder.
- Systemet har en sikkerhedsventil, der kan afbryde usikre svar.
- Risikovurderingen sker på flere niveauer via hierarkisk tilstandsrepræsentation.
- AI'en anvender konservativ risikofusion for at undgå farlige udfald.
- Den styrede generering skal forhindre skadelige eller opmuntrende svar.
- Forskningen er uploadet på arXiv under kategorien cs.AI.
Du kan få en digital samtalepartner, der er trænet til at genkende faresignaler og passe på dig – i stedet for blindt at følge dine ord. Det kan gøre online-støtte mere tryg for sårbare brugere.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.