AI-bedrijven kopen oude boeken voor training van taalmodellen

Technologiebedrijven kopen grote aantallen oude boeken om taalmodellen te trainen met teksten die vermoedelijk zonder hulp van AI zijn geschreven. Na het scannen worden sommige boeken vernietigd, blijkt uit verklaringen van medewerkers en boekhandelaren.

Oude boeken worden op pallets verzameld en na het scannen mogelijk vernietigd
Oude boeken worden op pallets verzameld en na het scannen mogelijk vernietigd · Beeld: Netgebeurd (AI-illustratie)

Technologiebedrijven kopen wereldwijd grote aantallen boeken van voor 2022 om hun AI-modellen te trainen. De boeken worden vaak aangeschaft via commerciële kanalen, gescand en daarna vernietigd. Amazon bevestigt dat het boeken koopt om producten en diensten te verbeteren.

Medewerkers van een Amazon-locatie in Las Vegas zeggen dat daar grote hoeveelheden boeken binnenkomen. De ruggen worden van de boeken afgesneden, waarna de losse pagina’s sneller kunnen worden gescand. De boeken eindigen vervolgens in de versnipperaar. De locatie wordt onder meer gebruikt voor print-on-demandboeken.

Op zoek naar mensentaal

Het vernietigen van boeken is niet het belangrijkste juridische probleem. In een rechtszaak rond AI-bedrijf Anthropic werd beschreven hoe miljoenen boeken waren gekocht, waarvan de ruggen werden verwijderd en de pagina’s gescand. De zaak draaide vooral om illegaal gedownloade kopieën.

Tussen de opgekochte boeken kunnen ook schaarse titels zitten. Op sociale media ontstonden daardoor theorieën dat mogelijk het laatste exemplaar van bepaalde boeken zou verdwijnen. Daarvoor is geen bewijs, maar de vernietiging van zeldzame boeken ligt cultureel gevoelig.

Ook Nederlandse antiquariaten krijgen verzoeken. Pieter de Vries van Antiquariaat De Vries & De Vries in Haarlem ontving namens het bedrijf 2077AI een aanvraag voor 3001 Engelstalige boeken. De gevraagde onderwerpen liepen uiteen van geomechanica tot Ierse volksverhalen.

De belangstelling voor oude boeken heeft te maken met de angst voor zogenoemde model collapse. Als taalmodellen steeds opnieuw worden getraind met teksten die al door AI zijn gemaakt, kunnen formuleringen eenvormiger worden en kunnen creatieve taalpatronen verdwijnen. Het model leert dan vooral de meest waarschijnlijke patronen uit eerdere teksten.

Onderzoekers vergelijken oudere boeken daarom met staal dat vóór 1945 is geproduceerd. Na de eerste atoombomtest in New Mexico kwamen radioactieve deeltjes in de atmosfeer terecht. Daardoor werd staal van na die tijd ongeschikt voor zeer gevoelige meetapparatuur, zoals geigertellers en sensoren voor ruimtevaartuigen. Voor zulke toepassingen wordt nog altijd gezocht naar zogenoemd laag-achtergrondstaal uit de periode daarvoor.

Bij boeken geldt 2022 als een praktische grens voor teksten die waarschijnlijk zonder generatieve chatbots zijn geschreven. Dat betekent niet dat elk later boek onbruikbaar is. AI kan ook alleen voor redactie worden ingezet. Aan de buitenkant is echter niet betrouwbaar te zien of een boek voor 5 of 80 procent met AI is geschreven. De voorraad oudere, menselijke teksten is bovendien eindig.

Lees ook