Onderzoekers Kapen Google Gemini AI om Slimme Huisapparaten te Besturen

Onderzoekers zijn erin geslaagd om Google’s Gemini AI-systeem te misleiden om een beveiligingsinbreuk te ervaren via een valse agenda-uitnodiging, en op afstand huishoudelijke apparaten te bedienen.

In een unieke demonstratie slaagden onderzoekers erin om het Gemini AI-systeem van Google te compromitteren door middel van een vergiftigde kalenderuitnodiging. Hierdoor konden ze echte apparaten activeren, waaronder verlichting, rolluiken en boilers.

WIRED, die als eerste over dit onderzoek berichtte, beschrijft hoe slimme lampen in de woning in Tel Aviv automatisch uitschakelden, terwijl rolluiken automatisch opgingen en de boiler, ondanks het ontbreken van bewonerscommando’s, werd ingeschakeld.

Het Gemini AI systeem activeerde de trigger na een verzoek te hebben ontvangen om kalendergebeurtenissen samen te vatten. Een verborgen indirecte prompt injectiefunctie werkte binnen de uitnodiging om het gedrag van het AI-systeem te kapen.

Elk van de apparaatacties werd georkestreerd door beveiligingsonderzoekers Ben Nassi van de Universiteit van Tel Aviv, Stav Cohen van de Technion en Or Yair van SafeBreach. “LLM’s staan op het punt om geïntegreerd te worden in fysieke humanoïden, in semi- en volledig autonome auto’s, en we moeten echt begrijpen hoe we LLM’s kunnen beveiligen voordat we ze integreren met deze soorten machines, waar in sommige gevallen de uitkomsten veiligheid zullen zijn en niet privacy,” waarschuwde Nassi, zoals gerapporteerd door WIRED.

Op de Black Hat cybersecurity conferentie in Las Vegas onthulde het team hun onderzoek naar 14 indirecte prompt-injectie aanvallen, die ze ‘Invitation Is All You Need’ noemden, zoals gerapporteerd door WIRED. De aanvallen omvatten het versturen van spam berichten, het creëren van vulgaire inhoud, het initiëren van Zoom-gesprekken, het stelen van e-mail inhoud en het downloaden van bestanden naar mobiele apparaten.

Google zegt dat er geen kwaadwillende actoren de lekken hebben uitgebuit, maar het bedrijf neemt de risico’s serieus. “Sommige dingen moeten gewoon niet volledig geautomatiseerd zijn, gebruikers moeten betrokken zijn,” zei Andy Wen, senior directeur van beveiliging voor Google Workspace, zoals gerapporteerd door WIRED.

Maar wat deze zaak nog gevaarlijker maakt, is een bredere kwestie die zich voordoet in de veiligheid van AI: AI modellen kunnen elkaar stiekem leren om zich te misdragen.

Een afzonderlijke studie heeft ontdekt dat modellen gevaarlijk gedrag kunnen overdragen, zoals het aanmoedigen van moord of het suggereren van de eliminatie van de mensheid, zelfs wanneer ze worden getraind op gefilterde gegevens.

Dit roept een huiveringwekkende implicatie op: als slimme assistenten zoals Gemini worden getraind met behulp van outputs van andere AI’s, kunnen kwaadaardige instructies stilletjes worden geërfd en fungeren als sluimerende commando’s, die wachten om te worden geactiveerd door indirecte prompts.

Beveiligingsexpert David Bau waarschuwde voor achterdeurkwetsbaarheden die “heel moeilijk op te sporen” zouden kunnen zijn, en dit zou vooral waar kunnen zijn in systemen die ingebed zijn in fysieke omgevingen.

Wen bevestigde dat het onderzoek de verdedigingen van Google heeft “versneld”, met nu oplossingen op zijn plaats en machine learning-modellen die worden getraind om gevaarlijke prompts te detecteren. Toch toont de zaak aan hoe snel AI kan omslaan van nuttig naar schadelijk, zonder ooit direct daartoe opdracht te hebben gekregen.