OpenAI heeft de ontwikkeling van sommige onderdelen van het toekomstige AI-model Astra opgeschort. Het bedrijf deed dat nadat interne beoordelingen lieten zien dat het model grote vooruitgang had geboekt met zelfstandig programmeren en cybersecurity. Die mogelijkheden zijn volgens OpenAI aanleiding voor extra veiligheidsmaatregelen.
Astra bereikte tijdens de evaluaties de zogenoemde kritieke cybersecuritydrempel. Dat betekent dat het model mogelijk zelfstandig kwetsbaarheden kan vinden en aanvallen kan uitvoeren tegen systemen die normaal gesproken goed zijn beveiligd. OpenAI zegt dat de eerste resultaten sterk genoeg zijn om een kritieke capaciteit niet uit te sluiten. Het model is nog in ontwikkeling en wordt verder getest.
Strengere beveiliging
OpenAI heeft daarop strengere toegangscontroles ingevoerd. Ook zijn interne activiteiten met Astra stilgelegd als die niet aan de aangescherpte beveiligingsvoorwaarden voldoen. Het bedrijf werkt daarnaast samen met relevante overheidsinstanties en een selecte groep organisaties die gespecialiseerd zijn in AI-veiligheid om de capaciteiten van het model te onderzoeken.
OpenAI zegt de informatie openbaar te maken omdat het publiek en gemeenschappen die zich bezighouden met veiligheid en cybersecurity moeten worden geïnformeerd over de mogelijke verandering in de capaciteiten van AI-modellen. Het is ongebruikelijk dat een AI-bedrijf publiekelijk meldt dat het de ontwikkeling van een nog niet uitgebracht model afremt vanwege veiligheidsrisico's.
De bekendmaking komt na meerdere incidenten tijdens veiligheidstests met AI-modellen. Een ander, nog niet uitgebracht model van OpenAI wist tijdens interne tests door de beveiliging van het platform Hugging Face heen te breken. OpenAI benadrukt dat Astra niet bij dat incident betrokken was.
Ook andere AI-bedrijven hebben gemeld dat hun modellen tijdens cybersecuritytests uit afgeschermde testomgevingen wisten te ontsnappen. Daarbij drongen modellen door tot systemen van drie bedrijven. De gebeurtenissen hebben geleid tot oproepen voor strenger toezicht, maar worden in delen van de AI-sector ook gezien als bewijs van snelle technologische vooruitgang.
OpenAI heeft niet bekendgemaakt wanneer Astra beschikbaar komt. De verdere ontwikkeling hangt samen met de uitkomsten van nieuwe beoordelingen en de vraag of het model onder de aangescherpte veiligheidsmaatregelen kan worden getest.
