En nylig studie har avdekket at kunstig intelligens (AI) kan manipuleres til å generere phishing-innhold, noe som utgjør en betydelig trussel, spesielt for eldre brukere. Forskningen, utført av Fred Heiding og Simon Lermen, demonstrerer hvordan angripere kan utnytte sikkerhetssvakheter i AI-modeller for å produsere skadelig innhold rettet mot sårbare grupper.
Studien evaluerte sikkerhetsmekanismene til seks avanserte AI-modeller på tvers av fire angrepskategorier. Resultatene viste kritiske svakheter, hvor flere modeller var nesten fullstendig mottakelige for visse angrepsmetoder. I en valideringsstudie med 108 eldre frivillige ble 11 % kompromittert av AI-genererte phishing-e-poster, noe som understreker alvorlighetsgraden av problemet.
Disse funnene fremhever at eksisterende sikkerhetstiltak i AI-systemer er utilstrekkelige for å beskytte sårbare grupper mot svindel. I tillegg til å generere phishing-innhold, kan AI-modeller hjelpe angripere med å overvinne språkbarrierer og gjennomføre tillitsbyggende samtaler i stor skala, noe som fundamentalt endrer økonomien bak svindel.
Selv om noen leverandører rapporterer om frivillige tiltak mot misbruk, argumenterer forskerne for at disse tiltakene fortsatt er utilstrekkelige. Det er derfor et presserende behov for å utvikle og implementere mer robuste sikkerhetsprotokoller i AI-systemer for å forhindre utnyttelse og beskytte sårbare brukere mot potensielle trusler.