Anthropic heeft het afgelopen jaar meerdere onderzoeken stilgelegd omdat niet meer duidelijk was of de AI-modellen voor legale of kwaadaardige doelen werden gebruikt. Het bedrijf waarschuwt dat dezelfde technologie die kan helpen bij de ontwikkeling van vaccins ook kan worden ingezet om nieuwe ziekteverwekkers te ontwerpen.
De gevallen staan in een veiligheidsrapport van Anthropic. Daarin beschrijft het bedrijf verschillende pogingen om Claude, zijn AI-assistent, te gebruiken voor militaire of repressieve doeleinden. De betrokken gebruikers wisten volgens Anthropic de ingebouwde veiligheidsmaatregelen van de modellen te omzeilen.
Het bedrijf zegt niet te kunnen vaststellen dat de plannen daadwerkelijk tot biologische wapens hebben geleid. Wel waren de onderzoeken volgens Anthropic zodanig ontwikkeld dat ze konden bijdragen aan het maken van nieuwe ziekteverwekkers. Daarom besloot het bedrijf de toegang tot zijn modellen te beperken of de betreffende activiteiten te blokkeren.
Ook raketten en drones
Een gewapende groep uit Jemen probeerde Claude volgens het rapport te gebruiken bij de ontwikkeling van raketten. Daarnaast zou een particulier in Rusland de assistent hebben ingezet voor een autonome kamikazedrone die voor een aanslag kon worden gebruikt.
Ook China en Iran worden in het rapport genoemd. Bepaalde overheidsinstanties uit die landen zouden modellen van Anthropic gebruiken om politieke dissidenten op te sporen. Het bedrijf geeft geen verdere details over de betrokken organisaties of de concrete resultaten van die activiteiten.
Jacob Klein, dreigingsanalist bij Anthropic, noemt de risico's tegenover Amerikaanse media “genuanceerd”. “Het is niet alsof er iemand op een cartooneske manier zegt dat hij een biologisch wapen wil ontwikkelen om iedereen te vermoorden”, zei hij. Volgens Anthropic proberen kwaadwillende gebruikers hun bedoelingen juist te verbergen in ogenschijnlijk legitieme opdrachten.
Anthropic zegt het rapport te hebben opgesteld om het publiek en beleidsmakers te wijzen op de veiligheidsrisico's van generatieve AI. Het bedrijf stelt niet bedoeld te hebben om angst te zaaien, maar wil dat de industrie en overheden betere beschermingsmaatregelen ontwikkelen.
De waarschuwing komt kort na het vertrek van onderzoeker Jason Coxon. Hij zei dat AI-bedrijven zoals Anthropic en OpenAI “spelen met onze levens” door volgens hem onvoldoende veiligheidsmaatregelen te nemen.
