Genie 4 kan ændre scenen midt i simulationen
Googles nye verdensmodel tilføjer realtidslyd, bedre fysik og dobbelt så lang sammenhæng; testbrugere afprøver filmprototyper.
Scenen skifter, mens simulationen kører
Google DeepMind har sendt verdensmodellen Genie 4 ud i en forskningspreview. Den bygger interaktive verdener ud fra tekst- eller billedprompts, og nu kan brugeren skrive en ny prompt midt i simulationen og få scenen til at skifte undervejs. Man kan skifte vejr, flytte kameraet eller sætte nye personer og objekter ind.
Genie 4 tilføjer samtidig lyd i realtid, der følger verdenen: musik, baggrundsstøj og dialog, som brugeren kan gå ind i. Lyd er nyt i Genie, men ikke i branchen — Runways GWM Worlds 2 havde allerede lydgenerering et par måneder tidligere.
- Så længe kan Genie 4 holde en simulation sammen — dobbelt af Genie 3
- 2 minutter
To minutter før verden driver
En simulation kan holde scenen sammen i op til to minutter, hvilket er dobbelt så længe som Genie 3, der kom som forskningspreview for lidt over et år siden. Fysikken er forbedret, og figurerne ligner mere mennesker.
Holdet bag erkender huller: detaljer og objekter kan drive, jo længere simulationen kører, og de har endnu ikke fundet ud af at sikre, at lyden er præcis, og at tekst i verdenen kan læses.
Gemini planlægger, Genie tegner
Gemini er tættere koblet på og fungerer som instruktør, der planlægger trinnene og tjekker billederne, mens Genie laver visualiseringen. I et forsøg knyttet til Gemini Robotics brød en Gemini 4 Argon-model opgaver ned i trin, som Genie 4 simulerede i realtid.
Det peger på en mulig metode til at afprøve robotsituationer i simulation, før de sker i den virkelige verden. Googles forskningsdirektør Tejas Kulkarni venter flere sådanne hybride verdensmodeller fremover.
Filmfolk vil holde dampen oppe
De første testbrugere peger på filmprototyper som en mulig ny anvendelse. Ifølge DeepMind-ingeniøren Diego Rivas er realtiden mest værdifuld i idégenerering og storyboarding, hvor man hurtigt vil kunne afprøve nye ideer.
Han understreger samtidig, at det er tidligt for Genie 4, og at det endnu ikke er klart, hvordan den samlede produktoplevelse bliver.
Ultra-abonnenter får adgang næste
Genie 4 er tilgængelig nu som forskningspreview for udvalgte testbrugere. I de kommende uger ruller modellen ud til Google AI Ultra-abonnenter i Project Genie og til tidlige partnere i Gemini API og Google AI Studio.
Flere detaljer
- Runways GWM Worlds 2 kom et par måneder før med lyd og spillbarhed.
- AMD køber World Labs, Amazon forhandler om Decart, og Rivian har købt Third Dimension.
- Googles videomodel Veo laver klip med synkron lyd til filmskabere.
- Gemini Omni skal på sigt kunne lave video af billeder, lyd og tekst, men er et stykke væk.
Kilder:
TechCrunch AI → The Verge AI → Google DeepMind →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.