Een vrouw uit Bonita Springs in de Amerikaanse staat Florida wordt strafrechtelijk vervolgd omdat ze in een chat met Claude een aanval op het kantoor van de sheriff zou hebben aangekondigd. Anthropic meldde de tekst na controle door een menselijke medewerker aan de politie.
Carli Michelle Heller schreef de betreffende passage op 26 september, blijkt uit het politierapport. In de tekst zou ze hebben beschreven dat ze het kantoor van de Lee County Sheriff wilde aanvallen. Later verklaarde Heller dat ze de chatbot van Anthropic gebruikte als een soort dagboek.
Controle door medewerker
De veiligheidssystemen van Claude markeerden de tekst als mogelijk bedreigend. Daarna werd de conversatie doorgestuurd naar een menselijke beoordelaar. Die concludeerde dat de dreiging geloofwaardig genoeg was om de politie in te schakelen.
Anthropic stelt dat het in beperkte noodsituaties gebruikersinformatie mag delen. Dat kan volgens het bedrijf wanneer het noodzakelijk lijkt om overlijden of ernstig lichamelijk letsel te voorkomen. De melding leidde ertoe dat agenten de identiteit van Heller onderzochten en naar haar woning gingen.
Heller werd daar zonder incident aangehouden. Een rechercheur van de inlichtingendienst van de Lee County Sheriff's Office nam vervolgens het onderzoek over.
De vrouw wordt beschuldigd van het schriftelijk uiten van een gewelddadige bedreiging. Dat is in Florida een misdrijf van de tweede graad. De wet stelt het versturen, publiceren of doorgeven van een schriftelijke of elektronische bedreiging met de dood of verwonding strafbaar. Ook dreigementen met een massaschietpartij of een terroristische daad vallen eronder, zolang anderen de boodschap kunnen bekijken.
De zaak onderstreept dat gesprekken met chatbots niet altijd uitsluitend door de gebruiker worden bekeken. Veiligheidssystemen kunnen berichten selecteren voor menselijke beoordeling, waarna een bedrijf in uitzonderlijke gevallen informatie met opsporingsdiensten kan delen.
In de Verenigde Staten lopen ondertussen meerdere rechtszaken over de verantwoordelijkheid van AI-bedrijven bij gewelddadige incidenten. Die zaken gaan onder meer over de vraag wanneer gesprekken over geweld aanleiding moeten zijn voor een melding aan de autoriteiten. In de zaak rond Heller draait het om een concrete tekst die door Anthropic als een geloofwaardige dreiging is beoordeeld.
