Textbitar – varför AI inte räknar ord som vi

Introduktion • Inga förkunskaper

Kort sagt

Du läser ord. En språkmodell bearbetar textbitar (tokens). En textbit kan vara ett helt ord, en del av ett ord eller ett skiljetecken. Börja med den skillnaden, inte med matematiken.

En mening på köksbordet

Skriv Jag dricker kaffe. på en pappersremsa. Du ser tre ord. Men textdelaren o200k_base, körd med biblioteket tiktoken, ger fem textbitar:

Jag | ␠dr | icker | ␠kaffe | .

Tecknet ␠ visar ett mellanslag som hör till biten. Det är vår synliga markering, inte ett extra tecken i originalmeningen. Tillsammans blir bitarna exakt originaltexten.

Ordet dricker delas alltså mitt i. En textdelare behöver inte följa svenskans ordgränser eller de delar du skulle välja på en svensklektion.

Det här är ett exempel – olika modeller kan dela olika. Uppdelningen är verifierad med just den namngivna textdelaren, inte utpekad som en regel för alla modeller.

Ett långt ord är fortfarande ett ord

Sommarstugeförsäkringen är ett ord. Samma textdelare gör åtta bitar av det:

Som | mar | st | uge | för | sä | kr | ingen

Därför kan två meningar ha lika många ord men olika många textbitar. Ett kort ord är inte alltid en bit, och ett långt ord behöver inte vara en enda.

När spelar det roll?

När en tjänst anger utrymme eller kostnad i tokens. Då är det textbitar den räknar, inte svenska ord. Språk, skrivsätt, skiljetecken och mellanrum påverkar också. Använd tjänstens egen räknare om du behöver ett exakt antal.

Prova själv utan teknik

1. Skriv en mening på en remsa.
2. Rita en ruta runt varje ord.
3. Titta på vårt verifierade exempel och rita i stället rutorna runt textbitarna.
4. Förklara skillnaden med en mening: Ord är vad jag läser. Textbitar är vad den valda textdelaren delar upp texten i.

Viktigaste fallgropen

Att tro att ett visst antal ord alltid motsvarar ett visst antal tokens. En tumregel är ingen exakt omräkning, särskilt inte mellan språk.

Vad du kan göra nu

Täck över rutorna i kaffeexemplet. Försök förklara varför tre ord blev fem textbitar. Du behöver inte kunna deras nummer eller hur textdelaren byggdes.

Vidare läsning

Fördjupning: Tokens – så blir text modellens byggbitar.

AI från grunden – hela serien

• Textbitar – varför AI inte räknar ord som vi
• Tal och träning – vad modellen har lärt sig
• Sammanhang – hur resten av meningen hjälper

Se fler filmer i Lisemarks videogalleri. Berättarrösten är AI-genererad.