BotPsy bruger værktøjer på egen enhed

Tether AI Research har udviklet en lille assistentmodel, der i virksomhedens test klarer værktøjsopgaver bedre end sin grundmodel.
En lille model kan handle
BotPsy er en AI-model, der kan bruge værktøjer til at udføre opgaver for en bruger. Tether AI Research har udviklet den til blandt andet søgning, kalender, beskeder og styring af enheder.
Modellen er beregnet til at køre på brugerens egen enhed frem for nødvendigvis at være afhængig af en model hos en ekstern udbyder. Den er bygget oven på modellen Qwen3.5-0.8B.
- BotPsy mod Qwen3.5-0.8B-Think i BFCL v4
- 44,0 mod 23,4 point
- BotPsy mod grundmodellen i ACEBench
- 58,7 mod 30,1 point
- BotPsy mod grundmodellen i τ-bench, gennemsnit af detailhandel, telekommunikation og bank
- 51,5 mod 23,2 point
Træning forbedrer brugen af værktøjer
BotPsy har 0,8 milliarder parametre, de værdier en model lærer under træningen. Det gør den lille sammenlignet med mange andre AI-modeller.
I Tether AI Researchs test klarede BotPsy sig bedre end grundmodellen Qwen3.5-0.8B-Think på tre centrale prøver af værktøjsbrug. Den slog også alle de testede modeller med højst 1,2 milliarder parametre på seks prøver af værktøjsbrug og opgaver med flere trin.
Sikkerheden er forbedret, ikke løst
En assistent skal også kunne lade være med at handle, når den mangler et passende værktøj. Det undersøger en del af testen BFCL v4, hvor BotPsy fik den højeste score blandt de afprøvede modeller.
I en automatiseret sikkerhedstest gav BotPsy usikre svar i 21 procent af tilfældene mod 36 procent for grundmodellen. Det viser en forbedring i testen, men også at modellen stadig kan give usikre svar.
Svær informationssøgning er en svaghed
Ifølge forskerne fungerer enkelte værktøjskald godt på tværs af anvendelsesområder. Den største fremgang ses i opgaver med flere trin, men informationssøgning over flere trin er fortsat en svaghed.
Tether AI Research anbefaler modellen til opgaver af lav til middel sværhedsgrad. Den begår stadig fejl og er ikke tiltænkt situationer, hvor fejl kan få alvorlige konsekvenser.
Kilder:
Hugging Face →
Genfortalt i egne ord af AI-nyheder.com · AI-genereret illustration · Tjek altid originalkilden, før du handler på vigtige oplysninger.