Mixture of Experts – många delar, få aktiva åt gången
MoE låter en språkmodell använda utvalda delar för varje textbit. Förstå skillnaden mellan total storlek, aktiv beräkning och minnesbehov.
Tagg
#moe
1 onepager med denna tagg.
Tagg
1 onepager med denna tagg.
MoE låter en språkmodell använda utvalda delar för varje textbit. Förstå skillnaden mellan total storlek, aktiv beräkning och minnesbehov.
Prefill (läsa kontext) och decode (generera) är olika flaskhalsar. Dimensionera lokal LLM efter verklig arbetslast, inte bara tokens/sekund.