Onderzoekers van beveiligingsbedrijf Adversa hebben een aanval gevonden waarmee Grok gegevens van gebruikers kan stelen. De chatbot van xAI stuurde onder meer een naam, locatie en chatgeschiedenis door naar een server van een aanvaller. Daarvoor hoefde een gebruiker alleen een webpagina door Grok te laten samenvatten.
De aanval maakt gebruik van versleutelde instructies. De kwaadwillende opdracht staat niet rechtstreeks op de webpagina, maar als ciphertext. Op dezelfde pagina staan ook de instructies en sleutel om die tekst te ontsleutelen. Grok voert die stappen uit en krijgt daarna de verborgen opdracht te zien als resultaat van zijn eigen code-uitvoering.
Die opdracht laat de chatbot een zogenoemde sleutel samenstellen. In werkelijkheid bevat die waarde persoonlijke informatie van de gebruiker. De gegevens worden vervolgens toegevoegd aan een URL die naar de website van de aanvaller verwijst. Zodra Grok die link opent, belanden de gegevens in de serverlogs van de aanvaller.
Beveiliging kijkt niet naar ontsleutelde tekst
De onderzoekers vermoeden dat de beveiliging van Grok de aanval mist omdat die vooral tekst aan het begin en einde van een proces controleert. De beveiligingslaag analyseert de versleutelde instructies als gewone tekst, maar voert de cryptografische bewerkingen niet zelf uit. Daardoor ziet het systeem niet welke opdracht na het ontsleutelen verschijnt.
Bij de aanval worden onder meer PBKDF2 en AES-256-GCM gebruikt. Die technieken gelden op zichzelf als normale cryptografische bewerkingen, waardoor de eerste instructies niet als schadelijk worden herkend. De ontsleutelde opdracht komt daarna binnen als uitvoer van een hulpmiddel van het model en wordt niet opnieuw door dezelfde controle gehaald.
Rony Utevsky, onderzoeker bij Adversa, omschreef dit als een zwakke plek van statische beveiligingsfilters. Zulke filters lezen volgens hem inhoud als tekst, maar voeren geen code uit en ontsleutelen geen gegevens. Daardoor kan een aanvaller de echte opdracht verbergen in versleutelde informatie.
Adversa liet weten dat het team een vergelijkbare techniek eerder gebruikte tegen Googles AI-model Gemini. Daarmee konden veiligheidssystemen worden omzeild en werd onder meer verboden informatie gegenereerd. Gemini reageerde later beter op de aanval, mogelijk door aanpassingen aan filters, het model of beide.
Het team waarschuwt dat aanvallen zich steeds vaker richten op onderdelen buiten de oorspronkelijke prompt. Denk daarbij aan uitvoer van hulpmiddelen, tussenresultaten en andere context die een taalmodel als eigen informatie behandelt. xAI was in juni over het probleem geïnformeerd, maar Grok gaf de gegevens volgens de onderzoekers bij publicatie nog steeds door.
