Mixture of Experts – många delar, få aktiva åt gången
MoE låter en språkmodell använda utvalda delar för varje textbit. Förstå skillnaden mellan total storlek, aktiv beräkning och minnesbehov.
Tagg
#introduktion
3 onepagers med denna tagg.
Sammanhang – hur resten av meningen hjälper
Samma ord kan bearbetas olika när orden före det ändras. Se hur attention hjälper till att föra information mellan textens delar.
Tal och träning – vad modellen har lärt sig
Följ en textbit till inlärda tal. Skilj på träning som ändrar modellen och vanlig användning som bearbetar din fråga.
Textbitar – varför AI inte räknar ord som vi
En mening är inte bara ord för en språkmodell. Se hur text delas i mindre byggbitar och varför ordantal inte räcker.