AI-hemmalabb: hårdvara, VRAM och vad det faktiskt kostar
Ett hemmalabb har hårdvara, modell och harness. VRAM styr vad du kan köra; elförbrukning och kylning är verkliga kostnader. 80/20 local/cloud är ofta klokt.
Tagg
#lokal-llm
5 onepagers med denna tagg.
AI-infrastruktur begränsas av energi, elnät och värme – inte bara acceleratorer
Storskalig AI begränsas ofta av effekt, elnät, kylning och energitillgång – inte bara modeller eller GPU:er. Flexibel arbetslast och placering nära energikällor blir viktiga.
Lokal LLM-hårdvara: Mac, NVIDIA och dedikerade system – jämförelse
Bandbredd, VRAM och watt avgör praktisk nytta. Apple ger bra balans och låg effekt; NVIDIA ger hastighet men drar mer el. Välj efter din arbetslast.
Modellrouting och minnesdesign – välj rätt modell för uppgiften
Routing (billigare/lokal först) och minnesdesign blir värdefulla när du har tydliga trösklar, loggning och kostnadsgränser för uppgiften.
Prefill vs decode – dimensionera din lokala LLM efter verklig arbetslast
Prefill (läsa kontext) och decode (generera) är olika flaskhalsar. Dimensionera lokal LLM efter verklig arbetslast, inte bara tokens/sekund.