Smala strukturerade modeller för triage och routing – när en liten modell slår en stor LLM

Kort sagt

En stor språkmodell är inte alltid det bästa verktyget för varje steg.

För uppgifter som triage, prioritering, klassificering och routing kan en liten, snabb och billig, strukturerad modell (som tar input + schema och returnerar kategorier/sannolikheter) vara både billigare, snabbare och mer pålitlig.

När är detta användbart?

• När du har återkommande beslut som följer ett tydligt schema (t.ex. “hur brådskande är detta ärende?”).
• För routing: skicka enkla saker till billig modell, svåra till starkare.
• När du vill hålla nere kostnad och latens i agentiska flöden utan att offra kvalitet på de lätta stegen.

Gör så här

1. Identifiera strukturerade arbetslaster

   • Triage och prioritering
   • Poängsättning och klassificering
   • Routing-regler (“om X då billig modell, annars eskalera”)

2. Definiera schema och tröskelvärden

   • Ange exakt vilka kategorier eller poäng som är tillåtna.
   • Sätt tröskelvärden för när resultatet är tillräckligt bra eller när man ska eskalera.
   • Exempel på schema för support-triage: kategorier [“low”, “medium”, “high”] + confidence > 0.85 för att använda billig modell.

3. Använd den lätta modellen som första steg

   • Låt den strukturerade modellen fatta det snabba beslutet.
   • Skicka bara vidare till full LLM när det behövs (baserat på confidence, kategori eller explicit regel).

4. Logga och validera

   • Spara beslut, input, output och varför eskalering skedde.
   • Ha fallback till mänsklig bedömning eller starkare modell.

5. Mät på riktigt

   • Jämför kostnad per beslut, latens och felfrekvens mot att alltid använda stor modell.

Vanliga fallgropar

• Att använda en stor LLM för alla steg “för säkerhets skull” (dyrt och långsamt).
• Att lita på strukturerad modell i högkonsekvensbeslut utan tröskelvärden och eskalering.
• Att inte testa på egen data – leverantörsbenc hmarks säger inte allt.

Lisemark-vinkel

I Nodi och agent-harnessar är routing och triage perfekta användningsområden för lätta strukturerade modeller.

Detta håller nere kostnad, minskar latens och gör det lättare att ha explicita, granskningsbara beslut i harnesset.

Kombinera med “Harnesset är kontrollplanet” och modellrouting för en tydlig arkitektur.

Relaterat

• Harnesset är kontrollplanet – modell vs runtime i agentiska system
• Modellrouting och minnesdesign – välj rätt modell för uppgiften
• Iteration som det verkliga modellmåttet – agentiska arbetsflöden
• Agentroller, minne och styrning