Agenters styrning och säkerhetsgränser – avgränsning slår bred autonomi

Kort sagt

Tre källor pekar åt samma håll: agenters nytta uppstår när uppgiften, verktygen och kontrollpunkterna är tydligt avgränsade. Bred autonomi ökar risken för oönskade effekter.

Ett agent-harness behöver göra roller, instruktioner, verktyg och handoff synliga. Minsta behörighet, begränsad budget och explicit godkännande före externa effekter är grundläggande.

När är detta användbart?

• När du designar eller utvärderar agentiska arbetsflöden som hanterar data, kommunikation eller externa system.
• När du vill undvika incidenter där agenter läcker information eller utför irreversibla åtgärder.
• För att bygga granskningsbara och styrbara agent-system i Nodi/Hermes.

Gör så här

1. Avgränsa uppgiften tydligt

   • Definiera exakt vad agenten ska åstadkomma och vad som ligger utanför (t.ex. tool getUserProfile(userId) med schema-validering, aldrig bred “interactWithSystem”).
   • Använd smala, semantiska verktyg istället för breda behörigheter.

2. Gör harnesset till den synliga kontrollen

   • Roller, instruktioner och verktyg ska vara explicita och versionerade.
   • Repon för orkestrering, gemensamma instruktioner och specialiserade skills är byggblock.

3. Tillämpa minsta behörighet och budget

   • Ge bara den åtkomst som behövs för den avgränsade uppgiften.
   • Sätt tak för kostnad, tid och antal steg.

4. Kräv explicit godkännande före externa effekter

   • Allt som skickar e-post, gör betalningar, ändrar data eller påverkar omvärlden passerar en gate (ofta mänsklig).
   • Logga förslag vs utfört.

5. Använd strukturerade modeller för avgränsade beslut

   • För triage, routing och poängsättning: använd snabba strukturerade modeller (t.ex. Jev-liknande).
   • Eskalera till full resonemang bara när det behövs.

6. Bygg in observation och stoppvägar

   • Spara vad som hände, varför och vem som godkände.
   • Ha mekanismer för att avbryta och återställa.

Vanliga fallgropar

• Att ge agenter bred åtkomst till privat data och nät utan tydliga gränser.
• Att tro att “smartare” autonomi ersätter avgränsning och kontroller.
• Att inte separera läsning från skrivning eller att inte validera input-schema.
• Att förlita sig på demo-berättelser utan att testa på egen riskprofil.

Lisemark-vinkel

I Nodi och Hermes är detta den praktiska säkerhetsprincipen: harnesset, inte modellen, är det som gör systemet användbart och säkert över tid.

Detta bygger direkt på “Harnesset är kontrollplanet” och “Strukturerade verktyg slår skärmagenter”. Strukturerade, avgränsade beslut (Jev) kompletterar för triage.

För fastighetsautomation, research och vardagliga flöden gäller: avgränsa först, ge behörighet därefter, och låt alltid en mänsklig eller formell kontroll stå mellan förslag och effekt.

Relaterat

• Harnesset är kontrollplanet – modell vs runtime i agentiska system
• Strukturerade verktyg slår skärmagenter – exponera funktioner istället för att klicka
• Smala strukturerade modeller för triage och routing – när en liten modell slår en stor LLM
• Verifierbara kvalitetsspärrar i agentisk kodning
• Agentroller, minne och styrning
• Agentisk datoranvändning: behörigheter, sandbox och mänsklig godkännande