EmbeddingGemma 2 finder videoklip ud fra tale
Google DeepMind-udgaven oversætter også billeder, lyd og kode til samme talrum og er bygget til at køre lokalt på enheden.
Fire medier bliver til én søgbar liste
EmbeddingGemma 2 fra Google DeepMind omsætter tekst, billeder, lyd og video til samme slags tal. Et embedding er netop det: en talrække, hvor indhold med samme betydning lander tæt på hinanden.
Derfor kan en forespørgsel på tekst trække det rigtige videoklip frem eller søge gennem timers lydoptagelser – i én model.
Den afløser EmbeddingGemma fra sidste år, der kun lavede tekst-embeddings, men alligevel blev hentet mere end 20 millioner gange af udviklere.
- Forbedring på MTEB Code, fra 68,76 til 78,68 point
- 9,92 point
- EmbeddingGemma 2, en model under en milliard parametre
- 740 millioner parametre
- EmbeddingGemma, tekstmodellen fra sidste år
- 20 millioner downloads
Kodeydeevnen springer 9,92 point frem
EmbeddingGemma 2 holder den flersprogede tekstkvalitet fra sin forgænger og løfter samtidig kodeydeevnen markant. På målingen MTEB Code går den fra 68,76 til 78,68 point.
Springet på 9,92 point gør modellen relevant for udviklere, der vil indeksere et kodearkiv lokalt og hente de rette stykker kode, når et program eller en agent skal finde rundt.
På billeder, video, dokumenter og lyd sætter modellen ifølge Google DeepMind ny standard for kvalitet per parameter blandt modeller under en milliard parametre.
740 millioner parametre skal køre lokalt
740 millioner parametre og bygget på Gemma 4-arkitekturen: en størrelse tænkt til at køre på forbrugerhardware frem for i en fjern server.
Når beregningen sker på selve enheden, forbliver dataene der. Samtidig falder forsinkelsen i en søgeproces, og funktionen kan bruges uden netforbindelse.
Modellen udgives under Apache 2.0-licensen, der tillader kommerciel brug, og bygger på samme teknologi som Googles Gemini Embedding-modeller.
Gemma 4 deler tokenizer med EmbeddingGemma 2
EmbeddingGemma 2 og den generative Gemma 4 deler teksttokenizeren, der bryder ord op til tal modellen kan læse, og desuden lydkoderen. Dermed fylder de to tilsammen mindre i hukommelsen, når begge kører.
Kombinationen bruges til retrieval augmented generation, forkortet RAG: EmbeddingGemma 2 henter filer lokalt, mens Gemma 4 udfylder svaret med sammenhæng. Hele kæden kan køre på enheden.
Google AI Edge viser EmbeddingGemma 2 i brug
Google DeepMind peger på steder, modellen allerede kan prøves: Instant Media Search i Google AI Edge Gallery søger i et mediebibliotek med tekst eller billede, og Video Moments Finder finder øjeblikke i video ud fra tekst eller lyd.
I appen Google AI Edge Foresight henter EmbeddingGemma 2 lokale filer, mens Gemma 4 ræsonnerer over dem. Realtidsbeslutninger som klassificering, ruter og forudsigelser oprettes via MediaPipe Decision Task API.
Flere detaljer
- Apache 2.0-licensen tillader kommerciel brug.
- EmbeddingGemma 2 deler teksttokenizer og lydkoder med Gemma 4.
- Realtidsbeslutninger som klassificering, ruter og forudsigelser oprettes via MediaPipe Decision Task API.
- Vejledninger til on-device søgning og RAG ligger i LiteRT og Google AI Edge-bloggen.
- Google DeepMind testede modellen sammen med partnere, så den virker der, hvor man bygger.
Kilder:
Google DeepMind →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.