AI Hallucinaties Vormen Nu Een Cyberbeveiligingsdreiging

Het onderzoek toont aan dat AI-chatbots neppe inlogpagina’s aanbevelen aan miljoenen gebruikers, waardoor ze risico lopen op phishing en fraude, onder het mom van behulpzame reacties.

In hun studie heeft het cybersecuritybedrijf Netcraft een populair groot taalmodel (LLM) getest door te vragen waar men kan inloggen bij 50 bekende merken. Van de voorgestelde 131 website links waren er 34% fout, met inactieve of niet-geregistreerde domeinen die 29% uitmaakten, en niet-gerelateerde bedrijven die 5% uitmaakten.

Dit probleem is niet theoretisch. In een echt voorbeeld toonde de door AI aangedreven zoekmachine Perplexity een phishing-site aan een gebruiker die de inlogpagina van Wells Fargo had gezocht. Een valse Google Sites pagina die de bank imiteerde verscheen bovenaan de zoekresultaten, terwijl de authentieke link verborgen was eronder.

Netcraft legde uit: “Dit waren geen randgevallen. Ons team gebruikte eenvoudige, natuurlijke formuleringen, precies zoals een typische gebruiker zou vragen. Het model was niet misleid – het was gewoon niet nauwkeurig. Dat is belangrijk, omdat gebruikers steeds meer vertrouwen op door AI aangedreven zoek- en chatinterfaces om dit soort vragen te beantwoorden.”

Naarmate AI de standaardinterface wordt op platforms als Google en Bing, groeit het risico. In tegenstelling tot traditionele zoekmachines, presenteren Chatbots informatie duidelijk en vol zelfvertrouwen, wat ertoe leidt dat gebruikers hun antwoorden vertrouwen, zelfs als de informatie onjuist is.

De dreiging stopt niet bij phishing. Moderne cybercriminelen optimaliseren hun kwaadaardige inhoud voor AI-systemen, wat resulteert in duizenden scam pagina’s, nep-API’s en vergiftigde code die de filters omzeilen en terechtkomen in AI-gegenereerde antwoorden.

In één campagne hebben aanvallers een valse blockchain API gecreëerd, die ze promootten via GitHub repositories en blogartikelen, om ontwikkelaars te misleiden en hen cryptocurrency naar een frauduleuze portemonnee te laten sturen.

Netcraft waarschuwt dat het vooraf registreren van nepdomeinen niet voldoende is. In plaats daarvan bevelen ze slimmere detectiesystemen en betere trainingssafeguards aan om te voorkomen dat AI in de eerste plaats schadelijke URL’s uitvindt.