Attention – hur sammanhang formar representationer
Följ banken från startembedding till kontextberoende representation. Ett litet räkneexempel visar frågor, nycklar, softmax och blandade värdevektorer.
Tagg
#llm
5 onepagers med denna tagg.
Tokens – så blir text modellens byggbitar
En token är en textbit, inte alltid ett ord. Följ vägen från text till token-ID och vektor, och förstå hur modellens svar byggs en bit i taget.
Embeddings och vikter – så räknar och lär sig språkmodellen
Följ ett token-ID till inlärda tal, räkna med en viktmatris och se varför nytt sammanhang inte är samma sak som att modellens vikter tränas om.
Vektorer, attention och kontext i transformers – praktisk grund för LLM-förståelse
Vektorer är numeriska representationer. Attention låter tokens påverkas av kontext parallellt. Ger intuition för promptdesign och varför vissa LLM-strukturer fungerar bättre.
Billig frontier-AI genom smarta modellkombinationer
Kombinera stark dyr modell med billig öppen modell för nära frontier-kvalitet till låg kostnad på specifika uppgifter.
RAG – Retrieval-Augmented Generation
En teknik där en AI-modell hämtar relevant information från en kunskapsbas innan den svarar. Ger mer korrekta och uppdaterade svar än enbart modellen.