#tokenisering

Tokens – så blir text modellens byggbitar

En token är en textbit, inte alltid ett ord. Följ vägen från text till token-ID och vektor, och förstå hur modellens svar byggs en bit i taget.