AI-nyhederOpenRouter-endpoint kan give forskellig modeladfærd
Samme OpenRouter-endpoint kan føre til forskellige udbyderes versioner af en model, og det kan ændre både evner og adfærd. Udbyderen kan vælges med provider.only.
Routing bag kulissen
OpenRouter markedsfører ifølge Simon Willison, at tjenesten automatisk håndterer fallbacks og vælger den mest omkostningseffektive mulighed for hver forespørgsel. Derfor kan man kalde ét API-endpoint for en model og blive sendt videre til en udbyder, der kører modellen. Problemet er, at udbyderne ikke nødvendigvis kører modellen ens.
Forskelle mellem udbydere
Mohamed Moustafa peger på en række måder, hvor routing kan skabe problemer. Udbydere bruger forskelligt serveringssoftware med forskellige optimeringer og indstillinger, så samme endpoint kan give forespørgsler, der opfører sig forskelligt. Nogle udbydere mangler ifølge kilden endda synsevne til synsmodeller, og behandlingen af indstillingen for reasoning effort kan også variere.
Styr udbyderen selv
Man kan styre, hvilken udbyder der bruges, med indstillingen provider.only. Metoden /endpoints returnerer listen over tilgængelige udbydere for et bestemt model-ID, så man kan se, hvad der er til rådighed, før man vælger. Dermed kan man undgå de udbydere, hvis version af modellen ikke passer til ens behov.
- OpenRouter er ifølge kilden et samlet API-endpoint for flere modeludbydere.
- provider.only begrænser hvilke udbydere der kan bruges til en forespørgsel.
- /endpoints viser tilgængelige udbydere for et model-ID.
- Forskelligt serveringssoftware kan give forskellig optimering og adfærd.
- Reasoning effort kan behandles forskelligt afhængigt af udbyder.
Vælger man ikke udbyder bevidst, kan samme model-ID give uventet adfærd eller mangle funktioner som syn.
Kilder:
Simon Willison AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.