Google og Microsoft bakker ny standard mod scraping
OpenAI, Google, Microsoft og Anthropic vil gøre det muligt for udgivere at afvise AI-træning via én fælles indstilling i robots.txt.
Fire AI-selskaber bakker fælles nej
OpenAI, Google, Microsoft og Anthropic vil alle adoptere en ny standard, der lader udgivere afvise AI-scraping på tværs af flere selskaber. Det betyder, at en udgiver kan sige nej til AI-træning én gang i stedet for at forhandle med hvert selskab.
Signalet gemmes i robots.txt
Standarden er et såkaldt policy token, foreslået af Kevin Kelley, teknisk lead for standarder hos Anthropic, i standardiseringsorganisationen IETF. Det placeres i websiteets robots.txt-fil, som allerede bruges til at fortælle web-crawlere, om de må skrabe siden til søgning, arkivering eller AI-træning.
I dag skal udgivere sende separate signaler til hver AI-virksomhed.
Microsoft vil give mere kontrol
Microsoft vil tilbyde mere granulære kontroller, så udgivere kan fravælge AI-træning eller AI-grounding.
Sidstnævnte er processen med at pege en AI-model mod en verificeret informationskilde for at reducere hallucinationer, altså når en AI giver forkerte svar. Microsoft understreger, at websites stadig vil fremgå i Bing-søgeresultater uanset præferencer.
Anthropic er allerede i gang
Anthropic har allerede adopteret signalet. Google og Microsoft planlægger at supporte det næste år, mens OpenAI siger, at det vil implementere det i de kommende måneder.
Udgivere har længe kæmpet med AI-crawlere, og andre tiltag som RSL-standarden og Cloudflares blokering af AI-crawlere er også i spil.
Flere detaljer
- RSL-standarden lader udgivere kræve betaling for crawling.
- Cloudflare blokerer AI-crawlere som standard.
Kilder:
The Verge AI →
Genfortalt i egne ord af AI-nyheder.com · Tjek altid originalkilden, før du handler på vigtige oplysninger.