Cloudflare heeft een beveiligingsprobleem opgelost in het GLM 5.3-model van Workers AI. Tussen 27 augustus en 9 september kregen enkele klanten antwoorden waarin gegevens uit recente verzoeken van andere klanten konden staan. In totaal zijn 155 antwoorden getroffen.
Het probleem deed zich alleen voor bij verzoeken met meer dan 681.280 tokens. Cloudflare zegt geen aanwijzingen te hebben gevonden dat iemand de fout bewust heeft uitgebuit. Na het uitsluiten van eigen tests en onderzoek door de ontdekker kwamen de overige verzoeken overeen met normaal gebruik van lange contexten.
Fout in configuratie en software
GLM 5.3 werd aangeboden met een contextvenster van 1.048.576 tokens. De beschikbare KV-cache op de GPU's die invoer verwerkten, kon echter slechts 681.280 tokens opslaan. De KV-cache bevat tijdelijke gegevens die het model nodig heeft om een antwoord te genereren.
Een verzoek dat niet in de cache paste, werd door de gebruikte open-source engine SGLang intern afgewezen en vervangen door een tijdelijke invoer van één token. In plaats van de aanvraag direct met een foutmelding te beëindigen, stuurde het systeem die beperkte cache door naar de GPU's die het antwoord genereerden. Die gingen ervan uit dat de volledige invoer was verwerkt, terwijl delen van de cache van een eerder verzoek nog aanwezig waren.
Daardoor konden antwoorden informatie bevatten uit andere sessies. De fout ontstond alleen in de zogenoemde disaggregated configuratie, waarbij aparte GPU-groepen de invoer verwerken en vervolgens de tekst genereren. De cache werd tussen verzoeken niet gewist, wat gebruikelijk is voor prestaties, maar vereiste wel correcte controle van het eigenaarschap van de geheugendelen.
Maatregelen
Cloudflare haalde het model op 9 september tijdelijk offline, nadat het de fout had gereproduceerd. Het bedrijf vergrootte daarna de cachecapaciteit tot ongeveer 2,04 miljoen tokens, ongeveer twee keer de maximale contextlengte van het model. Ook werd SGLang aangepast zodat afgewezen verzoeken al vóór het toewijzen of overdragen van cachegeheugen worden beëindigd.
Daarnaast controleert de decodeerverwerking of het aantal overgedragen tokens overeenkomt met het gereserveerde aantal. Cloudflare testte de aanpassingen met het reproductiescript van de onderzoeker en met eigen testmarkeringen voordat het model opnieuw beschikbaar kwam. Het bedrijf zegt dat geen andere modellen op Workers AI door dit probleem zijn geraakt.
