Sagi Polaczek lytter og ser med AI

Ny forskning lærer AI at sammenkoble lyd og billede, så den bedre forstår videoer. Opmærksomhedstrekanten giver modellen en menneskelignende evne.

Det nye trick

Forskeren Sagi Polaczek og hans kolleger har fundet en smartere måde at få AI til at forstå videoer på. I stedet for at behandle lyd og billede hver for sig, har de bygget en såkaldt opmærksomhedstrekant, der lader modellen vælge de vigtigste dele af begge og koble dem sammen. Det giver en mere helhedsforståelse, ligesom vi mennesker gør, når vi ser og hører samtidig.

Hvorfor virker det?

Metoden henter inspiration fra, hvordan vores hjerne fokuserer på bestemte ting, når vi oplever noget. Modellen lærer at finde de mest relevante billedpunkter og lyde og forbinde dem på tværs. Det betyder, at AI'en ikke drukner i al information, men kun bruger det, der giver mening i sammenhængen. Resultatet er, at den kan genkende handlinger og forstå sammenhænge bedre end tidligere.

Hvad kan det bruges til?

Teknikken kan blandt andet gøre video-søgning langt mere præcis. I stedet for kun at søge på ord eller billeder, kan man søge på både lyd og billede på én gang. Det kan også hjælpe med automatisk at beskrive videoer, lave undertekster eller forstå indhold i overvågningskameraer. AI'en bliver med andre ord bedre til at begribe, hvad der faktisk sker foran den – ikke bare at se på pixels.

Kilder:
arXiv cs.AI →

Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.