Genial och korkad på samma gång: så funkar AI egentligen

Om du använder AI-chattar är du väl medveten om att man ibland får rent ut sagt korkade svar. Exempelvis räknar den fel på enkla mattetal, eller säger att ordet december stavas med X? Hur kan något som är så genialt också vara så korkat?

Att förstå logiken bakom AI-teknik förändrar hur man använder AI och hur man ser på svaren man får.

The transformer & attention

År 2017 publicerade åtta forskare på Google rapporten “Attention is All You Need”. Den introducerade något som kallas för en transformer. Ordet attention är nyckeln till att förstå hur det fungerar.

Språk handlar helt om sammanhang. Ta till exempel ordet “fil“. Det betyder en sak när du äter frukost, en annan när du kör bil och en tredje när du jobbar med en dator. Vi människor fattar det här direkt och omedvetet på grund av kontext, men maskiner har tidigare haft svårt för det.

Det berodde på att maskiner, innan 2017, läste text sekventiellt - alltså ett ord i taget, från vänster till höger. Konsekvensen av det var att när de nådde slutet av meningen, hade de glömt början av den. Det kan man väl ändå relatera till. Sammanhanget gick förlorat innan det hann bli användbart.

Transformer-arkitekturen löste detta genom en radikal idé.

Istället för att läsa ett ord i taget, från vänster till höger, läser den alla ord samtidigt. I samma process räknar den ut förhållandet mellan varje enskilt ord och alla andra ord i samma mening. Den tilldelar dem “vikter”, alltså siffror som representerar hur starkt ord och idéer tenderar att hänga ihop i ett naturligt språk. Ju högre vikt, desto starkare koppling.

Vi tar ett exempel

Exempelmening: Hon såg mannen med teleskopet

Vem har teleskopet i den här meningen?

En människa kan snabbt räkna ut att det är hon som har det, men en AI-modell räknar fram det. Under sin träning läser modellen enorma mängder text och lär sig att teleskop oftare används av den som observerar än den som blir observerad. Den kunskapen lagras som vikter:

• Hon + teleskop = höga poäng

• Man + teleskop = lägre poäng

Högst poäng vinner. Det kallas för attention eftersom modellen bokstavligen bestämmer vilka ord som förtjänar mest uppmärksamhet för att förstå meningen.

Att förutsäga nästa ord

Allt detta har ett syfte: att förutsäga det mest sannolika nästa ordet. Modellen har tränats på alla möjliga kombinationer. Om du skriver “Himmelen är..” så väljer modellen mellan ord baserat på sannolikhet. Den kan vara “blå”, “klar”, “molnig” och så vidare. Den gör detta, ett ord i taget, tills den har gett dig ett komplett svar.

Låt oss titta på ett praktiskt exempel

Din fråga: Vad är Frankrikes huvudstad?

Hur kommer den fram till Paris?

Modellen “letar” inte efter svaret i en databas. Det mest sannolika nästa ordet i ett svar (baserat på sin träningsdata) är “Frankrikes”. Sedan “huvudstad”, sedan “är”, och till sist “Paris”. Den svarar Paris, inte för att den “vet” att det är Frankrikes huvudstad, utan för att det är det ord som statistisk sett nästan alltid följer den ordsekvensen.

Varifrån lär sig AI?

Idag är AI-bolagen mindre öppna med exakt hur mycket data som används, men vi kan använda OpenAI som exempel. När GPT-3 släpptes år 2020 hade den tränats på 500 miljarder ord. Modeller idag tränas på mångdubbelt fler ord.

För att ens kunna läsa 500 miljarder ord behöver man i princip läsa hela internet. En ideell organisation som heter Common Crawl hade i tysthet kopierat hela internet sen 2008 (allt från artiklar och forum till kommentarsfält). Modellerna bearbetar informationen som siffror och justerar sina vikter varje gång en gissning blir fel.

AI lär sig främst från tre källor:

1. Internet: miljarder sidor, artiklar, forum, Wikipedia. Allt.

2. Böcker: otroliga mängder digitaliserade böcker.

3. Kod: de använder öppna kodarkiv (repositories) såsom GitHub

Hur människor hjälper till att forma AI

Att läsa hela internet innebär också att läsa det sämsta av mänskligt beteende. Därför anställer AI-bolagen människor som granskar svaren, rättar fel och lär modellerna skillnaden mellan hjälpsamma och skadliga svar. Detta kallas för Reinforcement Learning from Human Feedback (RLHF). Vi kommer djupdyka mer i detta senare.

Så genial, oftast

Med risk för att låta barsk: AI “vet” ingenting.

När du ställer en fråga till en AI-chatbot slår den inte upp någon fakta. Den gissar. Detta även när en AI söker på internet (vilket många gör) då svaret genereras genom förutsägelse, inte genom ren avskrift. Och ibland gissar den fel.

Den obekväma sanningen är att den inte vet att den har fel.

Ett exempel på när detta kan bli farligt. Om du frågar en AI om dosering av en medicin kan den ge dig ett svar som låter rimligt, men som är farligt för din hälsa. Den försöker inte lura dig, men sekvensen “200mg två gånger om dagen” förekommer ofta i medicinska texter och “passar” därför in i mönstret för hur ett svar “ska se ut”.