Qwen3.8-27B fik 167 af 169 rigtige

01Eksperimentet flyttede til lokal hardware

Simon Willison gentog et gammelt forsøg, hvor en model skal lægge to store tal sammen og svare med selve tallet skrevet ud i ord. Originalen kørte Colin Frasier for over to år siden med GPT-4o.

Willison kørte det nye forsøg på eget udstyr, en DGX Spark, for at have fuld kontrol med miljøet. Modelversionen er Qwen3.8-27B-Q4_K_M.gguf – en åben model, der kører lokalt.

Han brugte et Codex Remote-session med GPT-6 Astra til at sætte forsøget op og lave selve kørslen.

02Uden reasoning blev mange svar forkerte

Første del kørte med reasoning slået fra: modellen svarede uden at vise sin mellemregning. Hver kombination af tal blev kørt 30 gange, og resultatet kom som et heat map over, hvor ofte svaret var korrekt.

En del af de forkerte svar tolker Willison som bevis på, at modellen ikke snyder med en lommeregner – det samme argument han bruger om GPT-4o fra det oprindelige forsøg.

03Med reasoning: 167 rigtige af 169

Anden del havde reasoning slået til, hvor modellen først skriver sine overvejelser. Det gik markant langsommere per par, så hver kvadrat i heat mappen blev kørt kun én gang i stedet for 30. Derfor er resultatet enten 100 procent eller 0 procent pr. felt.

Her fik Qwen3.8-27B det rigtige svar i 167 ud af 169 forsøg. Willison understreger, at forsøgene var et engangsforsøg, og at en ny kørsel sandsynligvis ville give et lidt andet resultat.

04Reasoning-sporet regner kolonnevis som mennesker

I rapporten medReasoning-sporene fra de største beregninger kan man følge regnestykket linje for linje. Modellen stiller de to tal op under hinanden, tager cifrene fra højre mod venstre og noterer overførsler undervejs.

Eksemplet i sporet lyder i retning af: "Position 3 (hundreder): 6 + 9 = 15, skriv 5, før 1 med" – altså præcis den manuelle kolonne addition, man lærte i skolen.