Ny studie: Många luras av AI-genererade röster – “deepfakes” allt större hot

Deepfakes är ett av de största säkerhetshot som AI, artificiell intelligens, för med sig.
Enligt en ny studie kunde lyssnare bara 73 procent av gångerna korrekt identifiera en deepfake av en mänsklig röst.

Forskare vid institutionen för säkerhets- och kriminalvetenskap vid University College London har gjort en studie där 529 individer deltog i ett onlineexperiment. Deltagarna fick lyssna på äkta och fejkade ljudklipp och sedan försöka skilja mellan dem.

Kriminella använder redan deepfakes för att begå bedrägerier. I studien nämns bland annat en bankchef i Hongkong som 2020 fick ett telefonsamtal från någon som lät som en av hans egna chefer. “Chefen” bad sin underlydande att godkänna överföringar på totalt 35 miljoner dollar.

Bankchefen hann överföra 400 000 dollar innan han insåg att något var fel. Han hade blivit ett offer för deepfake-teknik.

Försökspersonerna i aktuella studien fick dels lyssna på ett tal som var antingen äkta eller fejk, samt lyssna på ett och samma tal i både en äkta och en fejkad version. Därefter skulle de svara på frågan om talet de just hört var en riktig människa eller genererat av en AI. Studien gjordes både på engelska och mandarin.

I det första testet kunde deltagarna identifiera en deepfake 73 procent av gångerna. Däremot kunde de bara identifiera äkta tal i 68 procent av fallen. Forskarna spekulerar att detta berodde på att deltagarna hade en ökad skeptisk inställning, då de visste att vissa ljudklipp var fejk.

Orealistiskt scenario

I den andra delen av testet, när deltagarna skulle skilja mellan två versioner av ett och samma tal, kunde de identifiera den fejkade versionen med 86 procents säkerhet. Forskarna noterar dock att detta scenario är ganska orealistiskt, eftersom det är sällan man skulle ha ett referenstal att jämföra med i en vardagssituation.

Det var ingen större skillnad mellan hur ofta man kunde identifiera talförfalskningarna beroende på språk – i det här fallet engelska och mandarin.

Forskarna anser att studien bekräftar att det inte är helt lätt att upptäcka deepfakes och att ett försvar mot dessa är nödvändigt.

“När talsyntesalgoritmerna förbättras och blir än mer realistiska kan vi förvänta oss att detekteringsuppgiften blir svårare. Svårigheten att upptäcka deepfakes bekräftar deras potential för missbruk”, skriver de.

Man menar att studiens resultat visar på ett behov av automatiserade detektorer för att kompensera för en mänsklig lyssnares svagheter.

“De kan uppfatta nyansskillnader som människor inte kan”, skriver forskarna.