AI-nyhederAI-eksperter finder skjult fejl i lovende JEPA-modeller
Forskere opdager, at AI-modeller som JEPA kan virke perfekte i test, men begår fejl i virkelige situationer, hvor de skal planlægge igen.
Det nye fund
Forskere bag studiet 'ARC-Bench' har testet såkaldte JEPA-modeller – en type AI, der lærer af verden uden at skulle have svar på alt. De opdagede, at modellerne klarer sig flot, når de kun skal vurdere handlinger. Men så snart de skal lave planen om undervejs, afsløres fejl, der ellers var skjult. Det er en vigtig pointe for al AI, der skal bruges i virkeligheden.
Hvad betyder det
Mange AI-systemer bliver testet i rolige omgivelser, hvor alt går efter planen. Men i virkeligheden – eksempelvis i robotter eller biler – kan ting pludselig ændre sig. Her viser forskningen, at JEPA-modeller kan tage dårlige beslutninger, som man ikke så i testene. Det gælder især, når de skal rangere handlinger efter en uventet hændelse.
Reaktioner
Forskerne bag studiet – blandt andet Zhengshu Zhang – understreger, at der er behov for bedre testmetoder. Deres nye 'ARC-Bench' værktøj skal hjælpe med at afsløre problemerne, før AI'en sendes ud i verden. På den måde kan man undgå, at alvorlige fejl først opdages, når det er for sent.
Det store billede
JEPA-modeller bliver ofte beskrevet som lovende, fordi de kan lære mere effektivt end andre AI-metoder. Men dette studie er en påmindelse om, at ingen model er fejlfri. Selvom teknologien er spændende, skal vi være varsomme med at stole blindt på den – især når den skal bruges i situationer, hvor fejl kan få store konsekvenser.
- JEPA-modeller er AI-modeller, der lærer af verden uden ekstra data.
- Studiet introducerer 'ARC-Bench', et testværktøj til at afsløre skjulte fejl.
- Modellerne fejler, når de skal genplanlægge efter uventede ændringer.
- Testen viser, at action ranking kan være 'broken' i frosne JEPA-modeller.
- Fundet kan udfordre tilliden til AI i realistiske, dynamiske miljøer.
- Forskerne bag er Zhengshu Zhang og andre kolleger ifølge artiklen.
Du kan ikke regne med, at en AI, der klarer testen perfekt, også opfører sig korrekt i virkeligheden – det kan ramme robotter og biler, du møder i hverdagen.
Kilder:
arXiv cs.AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.