Gemini 4 Carbon fører testene i sårbarhedsjagt
Google annoncerer Gemini 4 Carbon, der især skal finde og lukke sårbarheder i kode. Foreløbig får kun udvalgte cyberforsvarere adgang.
Finder sårbarheder i 88,2 procent af testene
To uger efter Gemini 4 Argon løfter Google sløret for endnu en model: Gemini 4 Carbon. Selskabet kalder den sin stærkeste til dato og fremhæver især cyberforsvar og opgaver, der strækker sig over lang tid.
Carbon indtager førstepladsen på Artificial Analysis Intelligence Index med en score på 59, ifølge Google. Indekset er et samlet mål for, hvordan en model klarer en række forskellige opgaver.
På sikkerhedsområdet får Carbon 88,2 procent i SEC-bench Pro, hvor opgaven er at finde sårbarheder, 54,8 procent i ExploitGym for at udnytte dem og 71,0 procent i CWE-bench for at lappe fejl. Google oplyser, at testene er kørt uden guardrails.
- Artificial Analysis Intelligence Index (ifølge Google)
- 59
- SEC-bench Pro, andel fundne sårbarheder
- 88,2 %
- ExploitGym, udnyttelse af sårbarheder
- 54,8 %
Chrome-teamet melder om ti gange bedre rettelser
Google måler også Carbon på interne tests. Her får modellen mere end dobbelt så høj succesrate som Argon, når den skal skrive kode uden sårbarheder.
Chrome-teamet rapporterer ifølge Google, at Carbon lavede højkvalitetsrettelser mere end ti gange bedre end et andet laboratoriums store frontiermodel. Sikkerhedsplatformen Wiz ser samtidig Carbon føre på benchmarks for web-penetrationstest.
På WebDev Arena, hvor modeller måles på at bygge websider, rykker Carbon 89 elo-point op og lander på en fjerdeplads med 1768 point.
Kun udvalgte cyberforsvarere får adgang nu
Carbon er ikke tilgængelig for alle. Google begynder i denne uge med at give en mindre gruppe cyberforsvarere adgang og udvider derefter gradvist gennem sit Fairwind Program.
Selskabet deltager samtidig i den amerikanske regerings frivillige ordning for test af modeller, før de udgives. Google skriver, at Carbon kommer til udviklere, virksomheder og forbrugere »så hurtigt som muligt«, men giver ingen dato.
Prisen bliver den samme introduktionspris som Argon: 2 dollar pr. million input-tokens og 10 dollar pr. million output-tokens. Input-tokens, der ligger i cache, koster 95 procent mindre.
Carbon afviste alle forsøg på prompt-injektion
Sikkerhed handler også om at modstå manipulation. I testen Grey Swan afviste Carbon hvert eneste forsøg på prompt-injektion, hvor nogen forsøger at lokke modellen til at følge skjulte instruktioner. Det giver 0 procent mod Argon 0,7 procent.
Google beskriver Carbons værn som bygget oven på Argons: træning, løbende forsvar mod misbrug, modstandsdygtighed over for prompt-injektion og overvågning af modellens mellemregninger.
Flere detaljer
- Carbon blev annonceret to uger efter forgængeren Gemini 4 Argon.
- Grey Swan: Carbon 0 procent, Argon 0,7 procent, Opus 5.5 1 procent, GPT-6 Astra 8,5 procent.
- Internt har Googles teams set Carbon arbejde i dagevis på fejlfinding i store kodebaser.
- Ars Technica vurderer, at Carbon kun slår Argon med små marginer i Googles tests.
Kilder:
Google Gemini → Ars Technica AI → Google DeepMind → The Verge AI →
Genfortalt i egne ord af AI-nyheder.com · AI-genereret illustration · Tjek altid originalkilden, før du handler på vigtige oplysninger.