ALTK-Evolve topper τ²-bench med lærte regler
GPT-4.1-agenten løser 67,5 % af retail-opgaverne i alle fire forsøg og slår alle øvrige retail-deltagere i udklip fra 12. oktober 2026.
67,5 procent består alle fire forsøg
En kundeservice-agent, der kører på GPT-4.1 — en ældre model uden egentlig ræsonnering — løser 67,5 procent af opgaverne i τ²-benchs retail-domæne i alle fire forsøg. Målet kaldes Pass^4: hver opgave prøves fire gange uafhængigt, og tæller kun, hvis alle fire lykkes.
Tallet ligger i et ledertavle-udklip fra 12. oktober 2026 over alle øvrige retail-deltagere. Selve artiklen er offentliggjort 20. oktober 2026.
- Pass^4 på τ²-bench retail med gpt-4.1, 4 forsøg pr. opgave
- 67,5 %
- Pass^4-stigning fra baseline i både retail og airline
- +10 procentpoint
- Mean Accuracy i retail med lærte regler, fra 78,1 %
- 82,5 %
De lærte regler er helt konkrete
ALTK-Evolve-analyserer agentens forsøg på træningsopgaver og lader GPT-4.1 omdanne succeser og fejl til korte adfærdsregler: hvordan man godkender en kunde, bekræfter en transaktion eller håndterer en returnering.
Reglerne er adfærdsorienterede og specifikke. De sættes ind som en simpel markdown-liste efter domænepolitikken i agentens systemprompt — den faste introduktion, modellen starter med.
Eksempler: godkend brugeren før ordrehandlinger, kræv eksplicit godkendelse før databasen ændres, og tag kun én handling pr. trin. Den samme GPT-4.1 udtrækker reglerne og driver agenten; hverken modelvægte opdateres eller mennesker annoterer.
Testen straffer én fejl i databasen
τ²-bench er udviklet af virksomheden Sierra og måler kundeservice under faste rammer. Agenten taler med en AI-simuleret kunde (gpt-5.5), har værktøjer til at slå ordrer op, udstede refusioner eller ombooke fly, og en politikdokument, den skal holde sig inden for.
En opgave tæller kun som løst, når den endelige database-tilstand matcher forventningen. Det er en binær bedømmelse: enten er resultatet præcist, eller også fejler opgaven. De to domæner i testen er retail og airline.
Også flydomænet rykker sig mærkbart
Gevinsten findes i begge domæner. I retail stiger middelpræcisionen fra 78,1 til 82,5 procent, i airline fra 57,5 til 65,0 procent. Det strenge Pass^4 løftes med 10 procentpoint i begge.
Fremgangen kommer af bedre informerede kald, ikke af længere samtaler: forskerne måler direkte, at de bedre resultater koster flere tokens, ikke flere samtaletrin. Hvor meget hjælp der betaler sig, afhænger af domænet — i retail gavner mere hjælp på alle mål.
Flere detaljer
- Benchet kører τ²-bench egen ReAct-scaffold med tænke-handl-loop; kun reglerne er tillagt.
- Hver regel har et supporttal: antal træningsopgaver, den er udtrukket fra.
- Sup3-varianten kræver support ≥ 3; lossless-varianten beholder alt fra support ≥ 1.
- Tidligere arbejde viste samme tilgang på kodeagent-er.
Kilder:
Hugging Face →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.