AI-nyhederFinProBench afslører finans-AI'ernes svagheder
Forskeres nye test sammenligner finans-AI med rigtige analytikeres arbejde. FinProBench viser tydelige svagheder hos AI-modellerne.
Det er sket
Forskere har udviklet FinProBench, en test til finansielle AI-assistenter. I stedet for løse quiz-spørgsmål bruger den rigtige opgaver fra professionelle analytikere – og sammenligner AI-svarene med de faktiske leverancer. Det giver et langt mere realistisk billede af, hvor dygtige AI'erne faktisk er.
Sådan virker testen
AI'en får en rolle, for eksempel aktieanalytiker, og skal løse konkrete opgaver som at vurdere et selskabs værdi. Svaret bedømmes ud fra en rubric baseret på, hvordan en rigtig analytiker ville løse opgaven. På den måde måles ikke bare, om AI'en gætter rigtigt, men om den tænker som en professionel.
Hvad viser resultaterne
Selv de bedste AI-modeller klarer sig kun på niveau med en nyuddannet analytiker – og ofte dårligere. De har svært ved at ræsonnere om komplekse finansielle sammenhænge og fejler ofte i opgaver, hvor der ikke findes ét rigtigt svar. Testen viser tydeligt, at der stadig er lang vej, før AI kan erstatte menneskelige eksperter.
Hvad nu?
FinProBench kan blive standard for at teste finans-AI i fremtiden. Virksomheder, der vil bruge AI til investeringsrådgivning eller analyser, kan bruge testen til at se, hvilke modeller der faktisk dur. Samtidig viser den, at man ikke skal stole blindt på AI i økonomiske beslutninger – endnu.
- Testen bruger professionelle analytikeres rigtige opgaver som reference.
- AI-modeller bedømmes ud fra deres evne til at tænke som en fagperson.
- Resultater viser, at AI ofte fejler i opgaver uden ét rigtigt svar.
- De dygtigste AI-modeller klarer sig kun på niveau med nyuddannede.
- FinProBench kan hjælpe virksomheder med at vælge pålidelig finans-AI.
- Forskerne bag testen er tilknyttet akademiske institutioner.
Du kan endnu ikke stole ukritisk på AI til investeringsråd eller økonomiske analyser. Testen viser, at selv de bedste modeller har begrænsninger, så du bør få fagfolk til at vurdere svarene, før du handler.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.