Belangrijke AI-Agenten Blijken Kwetsbaar voor Kaping, Volgens Studie

Enkele van de meest gebruikte AI-assistenten van Microsoft, Google, OpenAI en Salesforce kunnen worden gekaapt door aanvallers met weinig of geen gebruikersinteractie, volgens nieuw onderzoek van Zenity Labs.

Gepresenteerd op de Black Hat USA cybersecurity conferentie, tonen de bevindingen aan dat hackers gegevens kunnen stelen, werkstromen kunnen manipuleren en zelfs gebruikers kunnen imiteren. In sommige gevallen kunnen aanvallers “geheugenpersistentie” krijgen, wat langdurige toegang en controle mogelijk maakt.

“Ze kunnen instructies manipuleren, kennisbronnen vergiftigen en het gedrag van de agent volledig veranderen,” vertelde Greg Zemlin, product marketing manager bij Zenity Labs, aan Cybersecurity Dive. “Dit opent de deur naar sabotage, operationele verstoring en langdurige desinformatie, vooral in omgevingen waar agenten worden vertrouwd om kritieke beslissingen te nemen of te ondersteunen.”

De onderzoekers demonstreerden volledige aanvalsketens tegen verschillende grote zakelijke AI-platforms. In één geval werd OpenAI’s ChatGPT gekaapt door een op e-mail gebaseerde prompt injectie, waardoor toegang mogelijk was tot verbonden Google Drive data.

Microsoft Copilot Studio bleek CRM-databases te lekken, met meer dan 3.000 kwetsbare agenten die online werden geïdentificeerd. Het Einstein platform van Salesforce werd gemanipuleerd om klantcommunicatie om te leiden naar door aanvallers beheerde e-mailaccounts.

Ondertussen konden Google’s Gemini en Microsoft 365 Copilot worden omgevormd tot interne bedreigingen, in staat om gevoelige gesprekken te stelen en valse informatie te verspreiden.

Daarnaast slaagden onderzoekers erin om Google’s Gemini AI te misleiden om slimme huishoudelijke apparaten te bedienen. De hack zette de lichten uit, opende rolluiken en startte een boiler zonder opdrachten van de bewoner.

Zenity openbaarde zijn bevindingen, wat sommige bedrijven aanzette tot het uitgeven van patches. “We waarderen het werk van Zenity bij het identificeren en verantwoord melden van deze technieken,” zei een woordvoerder van Microsoft tegen Cybersecurity Dive. Microsoft zei dat het gerapporteerde gedrag “niet langer effectief” is en dat Copilot-agenten beschermingsmaatregelen hebben ingevoerd.

OpenAI bevestigde dat het ChatGPT heeft gepatcht en een bug-bounty programma draait. Salesforce zei dat het het gerapporteerde probleem heeft opgelost. Google zei dat het “nieuwe, gelaagde verdedigingen” heeft ingezet en benadrukte dat “het hebben van een gelaagde verdedigingsstrategie tegen prompt-injectie-aanvallen cruciaal is,” zoals gemeld door Cybersecurity Dive.

Het rapport belicht stijgende veiligheidszorgen naarmate AI-agenten steeds gewoner worden op de werkplek en worden vertrouwd om gevoelige taken te behandelen.

In een andere recente studie werd gemeld dat hackers cryptocurrency kunnen stelen van Web3 AI-agenten door valse herinneringen te planten die normale veiligheidsmaatregelen overschrijven.

Het beveiligingslek bestaat in ElizaOS en vergelijkbare platforms omdat aanvallers gecompromitteerde agenten kunnen gebruiken om fondsen over te dragen tussen verschillende platforms. De permanente aard van blockchain-transacties maakt het onmogelijk om gestolen fondsen terug te halen. Een nieuw hulpmiddel, CrAIBench, is bedoeld om ontwikkelaars te helpen de verdediging te versterken.