Gemini Live beskriver verden for blinde

01Kameraet spørger brugeren om at dreje

Google lancerer Guided Vision i Gemini Live på kompatible Android-enheder. Funktionen giver mennesker, der er blinde eller har nedsat syn, en samtalepartner, der beskriver omgivelserne i realtid via telefonens kamera.

Brugeren deler sit kamera i en Gemini Live-session og hører beskrivelser af det, der er foran sig. Kan stilles opfølgende spørgsmål, og Gemini kommer proaktivt med verbale cue.

Hvis kameraet peger for højt, for tæt på eller skævt, beder Gemini brugeren om at panorere langsomt til højre, dreje nedad eller træde et skridt tilbage, så den får et klart visuelt billede at arbejde med.

02Trænet med tusindvis af timer fra Aira

For at lære Gemini Live at forstå samtaler i virkelige omgivelser har Google samarbejdet med Aira, en tjeneste, der leverer visuel fortolkning for mennesker med synshandicap.

Samarbejdet omfattede tens of thousands of timer visuel fortolkning. Mere end 1.000 medlemmer af Airas Trusted Tester-netværk var med til at stressteste og finjustere modellen på tværs af daglige rutiner.

Aira-specialister arbejdede direkte med Googles teams som fageksperter for at fastlægge og vurdere sikkerhedsrammerne — de grænser, der bestemmer, hvad modellen skal og ikke skal gøre.

03Hverdagsgøremål med hurtig visuel kontrol

Google fremhæver opgaver, hvor hurtig visuel verifikation er afgørende: at finde genstande, tilberede et måltid eller vælge tøj. Guided Vision skal fungere uden besvær i daglige rutiner.

Funktionen har også praktisk nytte for ældre, personer med lav læsefærdighed og alle, der skal læse småt print i dårlig belysning.

Google udviklede Guided Vision i tæt samarbejde med tilgængelighedssamfundet og viste den frem tidligere på måneden sammen med andre værktøjer til digital og fysisk tilgængelighed på Android.

04Ikke en erstatning for stok eller navigation

Google er tydelig om grænserne: Guided Vision er et hjælpeværktøj og kan begå fejl. Det er ikke en medicinsk enhed, et mobilitetshjælpemiddel eller en erstatning for blindestok.

Det er heller ikke beregnet til navigation, sikker rejsevejledning eller opdagelse af forhindringer. Brugere skal fortsætte med at bruge etablerede mobilitetshjælpemidler og sikkerhedspraksis i fysiske omgivelser.

05Kræver Android 9 og opdateret Gemini-app

Guided Vision er tilgængelig på Android-enheder med Android 9 eller nyere i de regioner og sprog, hvor Gemini Live understøttes. Både Gemini-appen og Android-systemets software skal være opdateret til seneste version for at komme i gang.