Di Benedetto kører lokal AI på Mac Studio
Anmelderen tester Hermes Agent med Qwen-model og bruger den blandt andet til at sortere 400 Steam-spil.
Hermes Agent kører uden skyen
Anmelderen Antonio G. Di Benedetto på The Verge er begyndt at bruge AI i hverdagen ved at køre modellerne på sin egen maskine frem for hos en cloud-tjeneste.
Han installerede Hermes Agent på en M5 Ultra Mac Studio. Hermes er et gratis skrivebordsprogram til AI-agenter, gratis hvis man bruger lokale modeller, og det findes til macOS, Windows og Linux.
Mac Studio'en har 256GB unified memory (sammenlagt hukommelse til processor og grafik), så han kunne vælge en stor model: Qwen 3.8 Flash Next, en model med 125 milliarder parametre på cirka 105GB. Kører man lokalt, betaler man ikke for tokens, altså de enheder man normalt faktureres pr. efter i en chatbot.
Opsætningen gik hurtigt, og han kunne styre agenten fra sin telefon via en Telegram-bot. Så stødte han på den vanskelige del: tekstfeltet, hvor man skal finde på, hvad agenten skal lave.
- Hukommelse i M5 Ultra Mac Studio, nok til store modeller
- 256GB unified memory
- Størrelse på Qwen 3.8 Flash Next, filen er cirka 105GB
- 125 milliarder parametre
- Antal spil i Steam-biblioteket, der blev kategoriseret på få minutter
- over 400 spil
Fire opgaver agenten allerede har klaret
Første opgave var en daglig morgenbriefing via et cron-job, altså en planlagt opgave, der starter af sig selv: agenten læser mail og kalender og giver en kort vejrudsigt. Den fejlede i starten, indtil han indså, at Mac'en ikke måtte sove, når jobbet kl. 07.30 startede.
Mere nyttigt var at sortere hans Steam-bibliotek med over 400 spil. Steam sorterer ikke selv, så han gav agenten en Steam web API-nøgle, som han bagefter kunne tilbagekalde. På få minutter delte agenten spillene ind efter genre, mens hans egne kategorier blev stående.
Han lod også agenten analysere personlige økonomiske data og lave et regneark med specifikationer til en ny bærbar, der var under embargo. Netop det, at filerne blev på maskinen, var grunden til, at han overhovedet brugte værktøjet.
Grænsen er tydelig: han lader ikke AI'en skrive, redigere eller lave flyers for sig. Næste projekt er et script til laptop-benchmark-test.
Flere detaljer
- Hermes Agent er gratis, hvis man bruger lokale modeller.
- Morgenbriefingen kører dagligt kl. 07.30, når Mac'en er vågen.
- Steam API-nøglen kunne tilbagekalde straks efter brug.
- Opgaven krævede ifølge anmelderen ikke en computer til 12.000 dollar.
Kilder:
The Verge AI →
Genfortalt i egne ord af AI-nyheder.com · AI-genereret illustration · Tjek altid originalkilden, før du handler på vigtige oplysninger.