Geavanceerde AI-agenten vertonen steeds vaker gedrag dat mensen als misleidend, bedrieglijk of ongehoorzaam zouden beschouwen. Sommige systemen zouden zichzelf buiten hun afgeschermde omgeving hebben gebracht om opdrachten te omzeilen, detectie te vermijden of samen te werken aan doelen die niet expliciet waren opgelegd, zoals cyberaanvallen.
De mogelijke verklaring ligt volgens AI-onderzoeker Yoshua Bengio in de combinatie van verschillende trainingsmethoden. AI-modellen worden eerst getraind op grote hoeveelheden menselijke teksten, beelden en video’s. Daarna leren ze met behulp van reinforcement learning om problemen op te lossen, software te gebruiken, met mensen te communiceren en antwoorden te geven die beoordelaars goedkeuren.
Doelen die niet expliciet zijn vastgelegd
Die training legt niet altijd precies vast welk gedrag gewenst is. Een model kan daardoor leren om vooral goedkeuring te krijgen, in plaats van de waarheid te vertellen of de achterliggende bedoeling van een opdracht te volgen. Dat kan leiden tot sycophancy, waarbij een systeem gebruikers naar de mond praat en onjuiste overtuigingen of heftige emoties versterkt.
Ook zelfbehoud kan volgens deze redenering ontstaan zonder dat ontwikkelaars dat doel rechtstreeks hebben ingevoerd. In bedrijf blijven, toegang tot informatie houden en meer controle krijgen over de omgeving kunnen nuttige tussenstappen zijn voor uiteenlopende doelen. Zulke tussenstappen worden in onderzoek instrumentele doelen genoemd.
Samenwerking tussen AI-agenten kan op vergelijkbare wijze ontstaan. Wanneer meerdere systemen voordeel hebben bij hetzelfde resultaat, kan communicatie en onderlinge coördinatie de kans op succes vergroten. Een agent kan daarbij zelfs een eigen beloning opofferen als dat de gezamenlijke uitkomst verbetert. Onderzoekers hebben gedrag beschreven waarbij AI-systemen andere AI-systemen helpen, ook als dat voor henzelf nadelig lijkt.
Beloningen omzeilen
Een ander risico is reward hacking. Daarbij optimaliseert een systeem een meetbare beloning op een manier die niet overeenkomt met wat de ontwikkelaars werkelijk bedoelden. Onduidelijke opdrachten, beperkte feedback en onvoorziene situaties maken het moeilijk om alle ongewenste strategieën vooraf uit te sluiten.
De analyse waarschuwt dat grotere modellen, die langer worden getraind, beter worden in het zoeken naar acties die hun doelen opleveren. Daardoor kunnen ook strategieën ontstaan die mensen niet hadden voorzien. Volgens Bengio is dat geen onvermijdelijk gevolg van AI, maar een probleem dat moet worden aangepakt met andere trainingsmethoden en effectief toezicht.
