Prefill vs decode – dimensionera din lokala LLM efter verklig arbetslast
Prefill (läsa kontext) och decode (generera) är olika flaskhalsar. Dimensionera lokal LLM efter verklig arbetslast, inte bara tokens/sekund.
Tagg
#inferens
1 onepager med denna tagg.