AI-nyhederAI finder på smerte-diagnoser uden data
Forskere testede AI på tomme patientjournaler og afslørede, at den trygt opfinder smerte-detaljer. Vigtig advarsel før AI bruges i klinikken.
Tomme data, fuld fantasi
Forskere gav AI-modeller et klinisk smerte-transskript, der var fuldstændig uden information – beviseligt uintetskabende. Alligevel svarede modellerne med selvsikre, detaljerede vurderinger af patientens smerte. De lavede altså opdigtede konklusioner, som om de havde ægte data at bygge på.
At nægte er ikke nok
Nogle modeller blev trænet til at afvise spørgsmål, de ikke kunne svare på. Men selv de 'nægtede' modeller gav i en række tilfælde svar med høj selvtillid og lav nøjagtighed. Studien viser, at en simpel afvisningsmekanisme ikke beskytter mod at finde på – hvilket forskerne kalder 'confident fabrication'.
Risiko i klinikken
Hvis AI bruges til at vurdere smerte i sundhedsvæsenet uden strenge kontroller, kan den påstå ting, der aldrig er blevet sagt. For eksempel at en patient har højere eller lavere smerte, end der er grundlag for. Det kan føre til forkerte behandlingsbeslutninger med alvorlige konsekvenser for patienter.
Hvad gør vi nu?
Forskerne opfordrer til at revurdere, hvordan AI modeller valideres, især til kliniske formål. De foreslår, at systemer skal testes mod 'provably uninformative' inputs for at afsløre, om de bare gætter. Indtil videre bør man være varsom med at stole på AI-svar i medicinske sammenhænge uden gennemgribende verifikation.
- Studiet brugte et klinisk smerte-transskript, der var beviseligt uden nyttig information.
- AI-modeller producerede selvsikre, men fabrikerede smerte-vurderinger.
- Selv modeller med afvisningsmekanismer hallucinerede i en række tilfælde.
- Fænomenet kaldes 'confident fabrication' – modellen er sikker, men tager fejl.
- Forskerne foreslår at teste AI med uintetskabende data for at afsløre gætværk.
Du kan ikke regne med, at en AI's selvsikre svar om smerte er sande – det kan føre til forkerte behandlinger, hvis systemet bruges i sundhedsvæsenet.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.