NVIDIA åbner fire modeller til bil- og robotsimulation

De nye Cosmos 3-modeller kan skabe billeder og sensordata til virtuelle miljøer. Forskere kan hente og tilpasse modellerne under en licens.
Virtuelle veje får flere synsvinkler
NVIDIA har frigivet fire modeller, der skaber simulerede observationer til arbejde med selvkørende biler og robotter. To af dem fremstiller vejscener set gennem kameraer og LiDAR, som måler afstande med laserlys.
Cosmos3-Nano-Transfer-Auto kan generere synkroniseret video fra op til 11 kamerasynsvinkler og kombinere billederne med LiDAR-data. Udviklere kan styre blandt andet vejens opbygning, trafikkens bevægelse og scenens udseende.
Cosmos3-Nano-Sim-Auto er en tilpasset version, der skaber små bidder af video og sensordata løbende. For at lade et køresystem reagere og ændre den næste scene kræver den dog yderligere software, som opdaterer modellens input.
Robotmodeller deler arbejdet med simulatorer
Cosmos3-Nano-Sim-Transfer laver farvebilleder ud fra information fra en simulator og en tekstbeskrivelse. Simulatoren beregner fortsat bevægelser, kontakt og fysisk tilstand; modellen skaber de billeder, et robotsystem kan bruge som observationer.
Cosmos3-Nano-Sim-Bimanual tager en anden vej: Den genererer den næste observation direkte ud fra en scene og handlinger fra en robot med to arme. Handlingsforløbet kan skifte mellem at flytte robotten og ændre kameraets synsvinkel.
Åbne vægte giver mulighed for tilpasning
De fire modeller har åbne vægte: De tal, der bestemmer, hvordan en model omsætter input til output, kan hentes og bruges til at tilpasse modellen. Licensen OpenMDW1.1 tillader både kommerciel og ikke-kommerciel brug på sine vilkår.
NVIDIA fremhæver modellerne som et udgangspunkt for videre udvikling. Det skal stadig undersøges, hvor pålideligt de simulerede miljøer kan bruges til at træne og evaluere systemer.
Kilder:
Hugging Face →
Genfortalt i egne ord af AI-nyheder.com · AI-genereret illustration · Tjek altid originalkilden, før du handler på vigtige oplysninger.