Harnesset är kontrollplanet – modell vs runtime i agentiska system
Modellen föreslår. Harnesset bestämmer vad som får hända via verktyg, behörigheter, loggning, budget och stoppvägar. Det är den viktigaste designfrågan.
Kort sagt
Många fokuserar på vilken modell som är “smartast”. I praktiken är det harnesset (runtime, verktyg, behörigheter, verifiering) som avgör om ett agentiskt system är användbart och säkert.
Modellen kan föreslå. Harnesset exekverar, kontrollerar och begränsar.
När är detta användbart?
- När du bygger eller utvärderar agentiska system (kodning, automation, research).
- När du vill undvika att en “smart” modell orsakar oönskade effekter.
- För att göra agentflöden granskningsbara och styrbara över tid.
Gör så här
-
Skilj tydligt mellan modell och harness
- Modell: resonerar, föreslår nästa steg, genererar text eller kod.
- Harness: ger verktyg, hanterar kontext, verkställer, loggar, sätter budget och stoppvilkor.
-
Gör harnesset till kontrollplanet
- Verktyg ska vara explicita och avgränsade.
- Behörigheter, budget och handoffs ska vara synliga och konfigurerbara.
- All extern eller irreversibel effekt ska passera en kontrollpunkt (ofta mänsklig).
-
Använd strukturerade beslut där det passar
- För triage, routing och enkla klassificeringar: använd snabba, strukturerade modeller.
- Eskalera till full LLM bara när det behövs.
-
Logga och observera
- Spara vad modellen föreslog, vad harnesset gjorde och varför.
- Gör det möjligt att återskapa och granska.
-
Designa för iteration
- Harnesset ska stödja snabba förbättringsvarv (testa, korrigera, verifiera).
Vanliga fallgropar
- Att tro att en bättre modell löser problem med dålig harness-design.
- Att ge agenter bred åtkomst utan tydliga gränser (“låt den göra vad den vill”).
- Att inte separera “vad modellen tror” från “vad som faktiskt utfördes”.
Lisemark-vinkel
I Nodi och liknande agent-harnessar är detta den viktigaste arkitekturprincipen.
Vi utvärderar inte modeller i isolation – vi utvärderar modell + harness + konkret uppgift.
Detta förklarar varför “agentroller, minne och styrning”, “verifierbara kvalitetsspärrar” och “modellrouting” är viktigare än att jaga den senaste frontier-modellen.
Relaterat
- Strukturerade verktyg slår skärmagenter – exponera funktioner istället för att klicka
- Smala strukturerade modeller för triage och routing – när en liten modell slår en stor LLM
- Verifierbara kvalitetsspärrar i agentisk kodning
- Agentroller, minne och styrning
- Agentisk datoranvändning: behörigheter, sandbox och mänsklig godkännande