Tokens sind ein Designsignal
Der Token-Verbrauch ist sichtbar und leicht zu zählen, weshalb er oft zum Stellvertreter für KI-Kosten wird. Eine niedrige Token-Zahl kann jedoch teure Wiederholungsversuche, schwache Antworten, manuelle Korrekturen oder die Engineering-Last einer überkomplizierten Pipeline verdecken. Effizienz muss auf Ebene des Workflows gemessen werden.
Eine nützliche Kennzahl setzt die gesamten Inferenz- und Betriebskosten mit einem akzeptierten Ergebnis in Bezug: einer gelösten Anfrage, einem geprüften Dokument, einer abgeschlossenen Entscheidung oder einer sicheren robotischen Handlung. Dieser Nenner hält die Optimierung an das Geschäft gebunden.
Entfernen Sie Arbeit, bevor Sie Prompts optimieren
Das wirksamste Token ist oft jenes, das ein Modell nie verarbeiten musste.
- Nutzen Sie deterministische Regeln für exakte Validierung, Formatierung, Berechnungen und Richtlinienprüfungen.
- Rufen Sie nur Evidenz ab, die für die aktuelle Aufgabe relevant ist.
- Führen Sie strukturierten Zustand mit, statt ein ganzes Gespräch erneut abzuspielen.
- Fassen Sie stabile Historie einmal zusammen und behalten Sie Verweise auf die Quelle.
- Vermeiden Sie das Senden von Interface-Beiwerk, doppelten Anweisungen und ungenutzten Metadaten.
- Beenden Sie die Generierung, sobald eine strukturierte Antwort vollständig ist.
Dies sind Architekturentscheidungen. Die Formulierung von Prompts ist wichtig, kann aber eine wahllose Kontext-Pipeline nicht ausgleichen.
Routen Sie nach Schwierigkeitsgrad
Ein einzelnes Modell muss nicht jeden Schritt übernehmen. Eine Routing-Schicht kann begrenzte Klassifizierung, Extraktion oder Transformation an ein kleineres Modell senden und unsichere Fälle an ein leistungsfähigeres eskalieren. Manche Aufgaben sollten die Generierung ganz umgehen.
Routing funktioniert nur mit Evaluation. Definieren Sie repräsentative Fälle, das Konfidenzverhalten und die Kosten eines falschen Routings. Ein günstiges Modell, das teure menschliche Nacharbeit verursacht, ist keine Optimierung.
Behandeln Sie Retrieval als Informationsbudget
Retrieval-Augmented Generation wird oft als «dem Modell Unternehmenswissen geben» beschrieben. In der Praxis wählt Retrieval eine kleine Evidenzmenge innerhalb eines Kontextbudgets aus. Die Qualität hängt von Dokumentstruktur, Metadaten, Berechtigungen, Ranking und der Fähigkeit ab, bei schwacher Evidenz auf eine Antwort zu verzichten.
Messen Sie, ob die abgerufenen Passagen die Antwort tatsächlich stützen. Mehr Textabschnitte können die Qualität mindern, indem sie die relevante Evidenz verdecken und zugleich Latenz und Token-Nutzung erhöhen.
Zwischenspeichern Sie, was wirklich stabil ist
Prompt-Caching des Anbieters, Antwort-Caching auf Anwendungsebene, Caching abgerufener Dokumente und vorab berechnete Embeddings lösen unterschiedliche Probleme. Wählen Sie einen Cache anhand dessen, was tatsächlich stabil bleibt und wie schnell sich Berechtigungen oder Quellinformationen ändern können.
Lassen Sie niemals einen Cache die aktuelle Berechtigung umgehen. Der Schlüssel muss die Nutzerin oder den Nutzer, die Richtlinie, die Quellversion, die Modellkonfiguration und weitere Faktoren abbilden, die das gültige Ergebnis verändern können.
Bewerten Sie Qualität und Wirtschaftlichkeit gemeinsam
Führen Sie eine kleine Betriebs-Scorecard:
- Akzeptanzrate bei repräsentativen Fällen;
- Rate menschlicher Korrekturen oder Eskalationen;
- Ein- und Ausgabe-Tokens pro akzeptiertem Ergebnis;
- Latenz bei normaler und Spitzennachfrage;
- Modell- und Infrastrukturkosten pro akzeptiertem Ergebnis;
- durch jede Optimierung eingeführte Fehlerbilder.
Überprüfen Sie die Scorecard, wenn sich Prompts, Retrieval, Werkzeuge, Modelle oder Quelldaten ändern. Token-Effizienz ist keine einmalige Komprimierungsübung. Sie ist disziplinierter Systembetrieb.