Simon Willison skifter ttok til GPT-6
Versionskiftet bringer ttoks token-optælling i overensstemmelse med syv GPT-modeller, som i et forsøg gav helt samme resultat.
GPT-4-forvalget forsvandt ved version 1.0
Simon Willison opgraderede ttok til version 0.4 med kommandoen uv tool upgrade ttok, sendte en fil gennem værktøjet og opdagede, at det stadig brugte tokenizeren fra GPT-4 som standard.
En tokenizer deler tekst op i de små enheder, en model faktisk læser. Hvor mange enheder en tekst fylder, styrer blandt andet, hvor meget et svar koster.
Han mente, at ttok burde tælle efter GPT-5-familien i stedet, og udgav ttok 1.0 som anledning til at få skiftet standarden med.
- Identisk optælling for alle syv GPT-modeller i William Lius forsøg
- 44.794 tokens
- Fastlåste testtekster, hvor modellerne gav samme resultat hver gang
- 31 fixtures
- GPT-5.5, tre 5.6-varianter og tre GPT-6-varianter
- 7 modeller
Syv GPT-modeller tæller identisk i forsøg
OpenAI har endnu ikke bekræftet, at GPT-6 bruger samme tokenizer som GPT-5-familien, og en vred indsigelse (issue) står åben om netop det.
Et forsøg fra William Liu peger alligevel samme vej. Hans commit dokumenterer, at alle syv GPT-modeller — 5.5, 5.6 Sol/Terra/Luna og GPT-6 Astra/Sol/Luna — rapporterede 44.794 tokens og matchede hinanden på alle 31 fixtures, de faste testtekster.
Konklusionen er, at tokenizerne formodentlig er de samme: GPT-6 ændrede ikke optællingen på dette korpus.
Flere detaljer
- ttok 0.4 udkom, før 1.0 skiftede tokenizer-standard.
- Opgradering til ny ttok sker med uv tool upgrade ttok.
- William Lius commit beskriver tokenizerne som sandsynligvis identiske.
- Omtalen er fra Simon Willison AI, 9. oktober 2026.
Kilder:
Simon Willison AI →
Genfortalt i egne ord af AI-nyheder.com · AI-genereret illustration · Tjek altid originalkilden, før du handler på vigtige oplysninger.