Attention – hur sammanhang formar representationer
Följ banken från startembedding till kontextberoende representation. Ett litet räkneexempel visar frågor, nycklar, softmax och blandade värdevektorer.
Tagg
#attention
1 onepager med denna tagg.
Tagg
1 onepager med denna tagg.
Följ banken från startembedding till kontextberoende representation. Ett litet räkneexempel visar frågor, nycklar, softmax och blandade värdevektorer.
Vektorer är numeriska representationer. Attention låter tokens påverkas av kontext parallellt. Ger intuition för promptdesign och varför vissa LLM-strukturer fungerar bättre.