Agentisk datoranvändning: behörigheter, sandbox och mänsklig godkännande

Kort sagt

Agentisk datoranvändning (computer use) låter agenter interagera med skrivbordsappar, webbläsare, kodmiljöer och verktyg över längre horisonter. Det ökar kapaciteten dramatiskt – men också risken för oavsiktliga eller skadliga effekter.

Säkerhet måste byggas in i harnessen, inte bara i modellen.

När är detta användbart?

• När du bygger eller utvärderar agenter som ska utföra verkliga handlingar utanför chattfönstret.
• För att bedöma risker och skyddsåtgärder innan du ger en agent bred åtkomst.
• När du jämför “modell + harness + uppgift” istället för bara modellprestanda.

Gör så här

1. Definiera uppgiften snävt

   • Bryt ner i verifierbara delsteg.
   • Bestäm vad som får göras och vad som absolut inte får göras.

2. Tillämpa minsta behörighet (least privilege)

   • Ge bara åtkomst till exakt de appar/filer/nätverksresurser som behövs för uppgiften.
   • Använd sandbox, virtuella miljöer eller containerisering där möjligt.

3. Bygg in kontrollpunkter

   • Mänsklig godkännande före externa effekter (t.ex. skicka e-post, betala, publicera).
   • Logga alla verktygsanrop, filändringar och nätverksaktivitet.

4. Använd observabilitet

   • Synliga handoffs mellan agentsteg.
   • Möjlighet att pausa, inspektera och återställa.

5. Utvärdera som helhet

   • Modell + harness + specifik uppgift är enheten du mäter.
   • Mät iterationstid, felfrekvens och kostnad per slutförd uppgift – inte bara “hur smart modellen är”.

6. Hantera latenta resonemang

   • Om agentens interna resonemang blir svårare att granska, kompensera med starkare externa kontroller.

Vanliga fallgropar

• Att lita på demos utan att testa på egna, avgränsade uppgifter.
• Att ge bred åtkomst för “bekvämlighet” och sedan upptäcka att det är svårt att backa.
• Att fokusera bara på modellens kapacitet och glömma harness och uppgiftsdesign.

Lisemark-vinkel

För agentiska system (kodning, research, automatisering) är datoranvändning kraftfullt – men bara om det är kontrollerbart.

Prioritera:

• Tydliga acceptanskriterier per deluppgift.
• Automatisk rollback eller sandbox där det är praktiskt.
• Hybrid: lokal körning för känsliga steg, cloud för tunga resonemang när det behövs.

Detta hänger ihop med “Iteration som det verkliga modellmåttet” och agentroller/minne: bra harness-design slår ofta en marginellt bättre modell.

Relaterat

• Agentroller, minne och styrning
• Iteration som det verkliga modellmåttet – agentiska arbetsflöden
• AI-hemmalabb: hårdvara och kostnad
• Frontiermodeller och säkerhetsgränser (wiki)