Ich baue seit einiger Zeit KI-Agenten. Keine Chatbots. Keine RAG-Demos. Echte Agenten, die Aktionen ausführen, Entscheidungen treffen und selbstständig laufen.

Hier ist, was Ihnen niemand sagt.

Die Lücke zwischen Demo und Produktivbetrieb

Jedes Agenten-Framework zeigt Ihnen eine Fünf-Zeilen-Demo, die perfekt funktioniert. Dann bringen Sie sie in Produktion, und sie scheitert auf eine Weise, die Sie sich nicht vorgestellt haben.

Der Grund ist einfach: Eine Demo ist ein Idealpfad. Produktion ist ein Graph aus Fehlerzuständen.

1. Beobachtbarkeit ist nicht optional

Ihr Agent ist nur so gut wie Ihre Fähigkeit zu sehen, was er tut.

Wenn ein Agent eine falsche Entscheidung trifft, müssen Sie genau wissen, warum. War es ein schlechter Prompt? Ein halluzinierter Werkzeugaufruf? Fehlender Kontext aus einem vorherigen Schritt?

Protokollieren Sie jeden Gedankenschritt. Prüfen Sie jede Aktion. Wenn Sie den Entscheidungsprozess eines Agenten nicht nachspielen können, können Sie ihm nicht vertrauen.

2. Der Engpass sind die Werkzeuge, nicht das LLM

Die meisten halten das LLM für den schwierigen Teil. Das ist es nicht. Der schwierige Teil sind die Werkzeuge.

Ihr Agent muss APIs aufrufen, Datenbanken lesen, Dateien schreiben, E-Mails senden. Jeder dieser Schritte kann scheitern. Netzwerk-Timeout. Abgelaufene Authentifizierung. Geändertes Schema. Ratenlimit.

Bauen Sie Ihre Werkzeugschicht wie ein verteiltes System. Wiederholungen. Circuit Breaker. Timeouts. Kontrollierte Degradierung.

3. Das Kontextfenster ist eine Falle

Lang laufende Agenten sammeln Kontext an. Je mehr sie tun, desto mehr Kontext tragen sie mit sich. Irgendwann füllt sich das Kontextfenster mit Rauschen, und der Agent beginnt, schlechte Entscheidungen zu treffen.

Strategien, die tatsächlich funktionieren:

  • Zusammenfassen: alten Kontext zu Zusammenfassungen verdichten, keinen rohen Verlauf mitschleppen
  • Strukturiertes Gedächtnis: Kurzzeitwissen (aktuelle Aufgabe) von Langzeitwissen (gelernte Muster) trennen
  • Vergessen: irrelevanten Kontext aktiv entfernen. Was in den letzten zehn Schritten keine Rolle gespielt hat, spielt jetzt wahrscheinlich auch keine

4. Determinismus wird unterschätzt

Alle wollen kreative Agenten. Was Sie eigentlich wollen, sind vorhersehbare Agenten.

Ein kreativer Agent, der eine Lösung halluziniert, ist nutzlos. Ein vorhersehbarer Agent, der einem bekannten Muster folgt, ist wertvoll.

Entwerfen Sie zuerst auf Determinismus. Fügen Sie Kreativität als kontrollierten Parameter hinzu.

5. Die Orchestrierung ist wichtiger als das Modell

Sie können GPT-4 gegen Claude oder Gemini tauschen, und Ihr Agent funktioniert weiter, wenn Ihre Orchestrierung solide ist.

Gute Orchestrierung bedeutet:

  • eine klare Zustandsmaschine
  • explizite Fehlerbehandlung
  • einen Menschen in der Schleife für kritische Entscheidungen
  • einen Prüfpfad für jede Aktion

Die unbequeme Wahrheit

KI-Agenten zu bauen, die wirklich funktionieren, ist kein KI-Problem. Es ist ein Problem der Softwareentwicklung.

Das LLM ist der einfachste Teil. Alles darum herum, also Werkzeuge, Beobachtbarkeit, Zustandsverwaltung, Fehlerbehandlung und Orchestrierung, ist die eigentliche Arbeit.

Und genau dort liegt auch der eigentliche Wert.