llama.cpp vil advare om brud med versionsnumre

Bibliotekerne bag værktøjet udkommer i version 1.0.0. Fremover skal et nyt hovedversionsnummer gøre ændringer, der bryder kompatibiliteten, synlige for udviklere.
AI-modeller kan køre på egen hardware
llama.cpp er et open source-værktøj, der gør det muligt at køre AI-modeller på hardware fra almindelige computere til store servere. Version 1.0.0 er en udgivelse af bibliotekerne bag værktøjet, ikke en ny AI-model.
Værktøjet kan bruge modeller, der håndterer flere typer indhold. Det kan også gøre modeller mindre gennem kvantisering, hvor modellen repræsenteres med færre detaljer, og bruger dele af programmet, som er tilpasset forskellig hardware.
- Understøttede varianter af måder at opbygge modeller på – ikke antal modeller
- Over 150
Hovedversionen skal vise brud
Andre programmer bygger allerede på llama.cpp. Derfor har deres udviklere brug for at kunne se, når en opdatering ændrer den måde, deres program kan tale med biblioteket på.
Fremover vil både llama.cpp og den underliggende motor ggml bruge et nyt hovedversionsnummer ved ændringer, der bryder kompatibiliteten. Det gælder både den grænseflade, udviklere skriver kode til, og den måde, færdige programmer forbindes med biblioteket på.
Versionsnummeret skal gøre brud synlige; det er ikke et løfte om, at alle programmer altid forbliver kompatible.
Motoren tilpasses forskellig hardware
Motoren ggml er bygget til at kunne arbejde på mange typer hardware. Det sker ved hjælp af særlige programdele, som kan indlæses, mens programmet kører.
Holdet bag udgivelsen fortæller også, at det udvider sine automatiske test på forskellige hardwareplatforme. Det skal understøtte kontrollen af ændringer, efterhånden som udviklingen går hurtigere.
Kilder:
Hugging Face →
Genfortalt i egne ord af AI-nyheder.com · AI-genereret illustration · Tjek altid originalkilden, før du handler på vigtige oplysninger.