OpenAI, Google, Microsoft en Anthropic zeggen een nieuwe standaard te gaan invoeren voor uitgevers die niet willen dat hun websites door AI-systemen worden gescrapet. Met de standaard kunnen zij hun voorkeuren voor AI-training op één manier kenbaar maken aan meerdere crawlers.
Websites kunnen zo aangeven of hun inhoud wel of niet mag worden verzameld voor de ontwikkeling van AI. Het systeem is bedoeld om uitgevers meer controle te geven over het gebruik van hun teksten, afbeeldingen en andere online publicaties.
Eén instelling voor meerdere crawlers
De nieuwe aanpak moet voorkomen dat uitgevers hun beleid afzonderlijk bij ieder AI-bedrijf moeten vastleggen. Een instelling op de website kan volgens de betrokken bedrijven worden gebruikt door verschillende crawlers die online informatie verzamelen.
Daarmee ontstaat een gezamenlijke manier om keuzes over AI-training door te geven. Deelnemende bedrijven kunnen de voorkeuren van uitgevers vervolgens meenemen bij het verzamelen van webinhoud. Het is niet bekendgemaakt hoe de standaard technisch precies werkt of wanneer uitgevers de mogelijkheid kunnen gebruiken.
De aankondiging komt op een moment dat de rol van online publicaties in AI-training veel discussie oproept. AI-bedrijven gebruiken grote hoeveelheden informatie om modellen te ontwikkelen en te verbeteren. Uitgevers maken zich daarbij zorgen over het gebruik van hun inhoud zonder duidelijke toestemming of vergoeding.
De steun van OpenAI, Google, Microsoft en Anthropic betekent dat de standaard door meerdere grote spelers in de AI-sector kan worden toegepast. Daardoor hoeven uitgevers mogelijk minder verschillende regels en instellingen te beheren wanneer zij het gebruik van hun inhoud willen beperken.
De standaard geeft uitgevers een manier om hun voorkeur kenbaar te maken, maar het beschikbare materiaal vermeldt niet welke gevolgen een weigering precies heeft. Ook is niet duidelijk of alle AI-bedrijven en andere partijen die websites crawlen de instellingen zullen overnemen. De betrokken bedrijven hebben evenmin details gedeeld over toezicht op de naleving ervan.
