Anthropic-topman Dario Amodei zegt dat zijn bedrijf geen verbod wil op AI-modellen waarvan de modelgewichten openbaar beschikbaar zijn. Hij reageert daarmee op discussie in de sector over mogelijke Amerikaanse beperkingen voor zulke modellen, waaronder modellen uit China.
Amodei stelt dat open-weightmodellen zonder gevaarlijke mogelijkheden waardevol zijn voor bedrijven, ontwikkelaars en onderzoekers. Ook het gebruik van Chinese open modellen door bedrijven behoort volgens hem niet tot de risico's waar hij zich het meest zorgen over maakt.
De directeur maakt onderscheid tussen de verspreiding van open modellen en de ontwikkeling van zeer krachtige AI door autoritaire staten. Hij vreest dat zulke regeringen AI kunnen inzetten voor blijvende militaire dominantie of voor onderdrukking van de eigen bevolking. Daarbij noemt hij de Chinese Communistische Partij de meest capabele autoritaire speler, zonder andere regimes uit te sluiten.
Risico op biologische aanvallen
Amodei waarschuwt daarnaast dat AI niet alleen cyberaanvallen, maar ook biologische aanvallen kan vergemakkelijken. Bij modellen met dergelijke gevaarlijke capaciteiten zijn open weights volgens hem juist een extra risico. Na publicatie kunnen de modellen niet meer worden teruggetrokken en is het lastig om gebruik te volgen of veiligheidsbeperkingen af te dwingen.
Voorstanders van open source stellen daartegenover dat breed beschikbare krachtige modellen verdedigers juist kunnen helpen. Zij wijzen erop dat veiligheid niet uitsluitend afhankelijk moet zijn van systemen die door een klein aantal bedrijven worden beheerd.
De discussie werd aangejaagd nadat Nvidia, Meta, Microsoft, Mistral, Hugging Face en andere AI-bedrijven beleidsmakers opriepen geen brede en voortijdige beperkingen voor open-weightmodellen in te voeren. Nvidia-topman Jensen Huang deelde de oproep publiekelijk.
Chips en bescherming van intellectueel eigendom
Amodei pleit voor gerichte maatregelen tegen China in plaats van een algemeen verbod op open modellen. Hij wil dat China minder toegang krijgt tot krachtige chips en dat er strenger wordt opgetreden tegen distillation. Bij die techniek bestookt een AI-systeem een ander model met opdrachten om de werking ervan af te leiden.
Ook is Amodei voorstander van een internationale organisatie die geavanceerde AI-modellen op veiligheid test. Zo'n systeem kan volgens hem alleen effectief zijn als alle grote landen eraan meedoen, inclusief China. Hij acht beperkte samenwerking om biologische AI-wapens te voorkomen mogelijk, omdat ook China daar belang bij zou hebben.
