Vanligt med fel i AI-svar – Google: “Blir inte alltid rätt”

Google hävdar att man kan leverera “pålitlig och högkvalitativ information” – ändå blir det fel i AI-svaren från sökjätten. Bolaget sticker dock inte under stol med att det inte alltid blir rätt.

👉 Media.nu på Substack

 
I fredags skrev jag om hur Googles AI-översikter inte sällan levererar uppdiktad information som svar på olika sökfrågor. Till exempel påstod sökmotorn att journalisten Emanuel Karlsten står bakom Media.nu, en uppgift som är helt tagen ur luften. AI-svaren har även pekat ut personer som brottslingar.

“AI Mode och AI Overviews grundar sig i Googles kvalitets- och rankningssystem, som vi har förfinat i över 20 år för att leverera pålitlig och högkvalitativ information”, skriver Andrea Lewis Åkerman, som arbetar med kommunikation och public affairs på Google i Sverige, i ett mejlsvar efter att jag bett om en kommentar från företaget.

“Precis som med alla AI-produkter i ett tidigt skede blir det inte alltid rätt, men vi arbetar kontinuerligt för att förbättra upplevelsen. Både AI Overviews och AI Mode lyfter också tydligt fram länkar till webben, så att människor kan klicka sig vidare för att lära sig mer och verifiera informationen”, skriver hon vidare.

“Förfinat i över 20 år”

Googles kvalitets- och rankningssystem ska vara en garant för pålitlig och högkvalitativ information, enligt sökjätten.

Andrea Lewis Åkerman svarar inte specifikt på de frågor jag ville ställa till Google. Hon hänvisar istället till ett dokument om hur AI-översikterna fungerar, samt en sida som förklarar Googles kvalitets- och rankningssystem. Jag matade in dessa i Googles NotebookLM, ett AI-verktyg som baserar sina svar på den information man själv ger den, och ställde frågorna där.

Vilka steg har Google tagit för att förhindra eller minska riskerna för felaktigheter i svaren?

“Google använder sina kärnsystem för rankning och Knowledge Graph för att verifiera att AI-svaren stöds av högkvalitativa källor och undviker svar vid så kallade ‘datatomrum’. De tillämpar även rigorösa säkerhetstester som ‘red-teaming’ och agentbaserad förstärkningsinlärning för att belöna modeller som genererar faktamässigt korrekta påståenden”.

Borde vissa ämnen/söktermer vara undantagna från AI-översikter?

“Ja, AI-översikter är utformade för att undvika högkänsliga, explicita eller farliga ämnen, såsom självskadebeteende, eftersom användare kan uppfatta dessa sökfunktioner som mer trovärdiga. Google begränsar även svar vid så kallade ‘datatomrum’ där tillförlitlig information saknas på webben för att förhindra att vilseledande eller skadligt innehåll visas”.

“Mer trovärdiga”

Användare kan uppfatta AI-funktionerna som mer pålitliga än vanliga sökningar, enligt ett svar från NotebookLM.

Tror ni att den genomsnittlige Google-användaren förstår hur AI-svaren genereras?

“Källorna antyder att användare kan uppfatta AI-funktioner som mer trovärdiga och av högre kvalitet enbart på grund av hur informationen presenteras. Google poängterar därför vikten av att sätta tydliga förväntningar på teknikens begränsningar, såsom risken för att systemet självsäkert presenterar felaktiga uppgifter”.

Hur kommer det sig att Google lanserar en produkt så brett, när den fortfarande har de här bristerna?

“Google lanserar tekniken brett eftersom data visar att användare blir mer nöjda och kan hantera mer komplexa frågor med hjälp av AI-översikter. Genom att nå många användare kan de samla in värdefull feedback och konkreta exempel för att systematiskt förbättra systemets faktualitet och hantera kända begränsningar”.

Det finns en liten text i varje svar där det står “AI-svar kan innehålla fel”, som är relativt lätt att missa. Borde inte detta markeras tydligare, när felaktigheter inte tillhör ovanligheterna?

“Google betonar vikten av att sätta tydliga förväntningar på teknikens begränsningar, särskilt då användare tenderar att uppfatta automatiskt genererade funktioner som mer trovärdiga än vanliga webbresultat. Vid särskilt känsliga ämnen (YMYL) går systemet även längre genom att direkt uppmana användaren att verifiera informationen hos en expert eller en pålitlig källa”.

“YMYL” står för “Your Money or Your Life”, och är en beskrivning på information som rör bland annat medicinsk rådgivning eller ekonomiska beslut.


Nu tar Media.nu paus över helgerna! I januari återkommer vårt vanliga nyhetsbrev 🎄✨

 

Inte prenumerant på Media.nu än? Här nedan blir du det – helt gratis!