KI-Agenten überwachen: Warum Nachvollziehbarkeit jetzt Chefsache ist

KI-Agenten erledigen zunehmend eigenständig Aufgaben in Unternehmen, doch die meisten Organisationen können im Nachhinein kaum rekonstruieren, welcher Agent was getan hat und wer es freigegeben hat. Eine aktuelle Untersuchung der Partnership on AI zeigt, dass selbst die verbreitetsten Agenten-Frameworks wesentliche Protokolldaten nicht liefern. Für den Mittelstand heißt das: Wer Agenten einführt, muss Nachvollziehbarkeit von Anfang an mitplanen. Dieser Beitrag erklärt, worauf es ankommt und wie Sie konkret vorgehen.

Warum Agenten anders überwacht werden müssen als Chatbots

Agenten brauchen eine laufende Überwachung im Betrieb, weil sie nicht nur Antworten geben, sondern Handlungen ausführen. Ein Chatbot liefert einen Text, den ein Mensch liest und bewertet. Ein Agent plant dagegen mehrere Schritte, wählt Werkzeuge, ruft Systeme auf, startet unter Umständen weitere Agenten und passt seinen Plan unterwegs an. Damit wird sein Verhalten schwer vorhersehbar.

Tests vor dem Livegang können deshalb nicht alle Situationen abdecken. Die Partnership on AI, ein gemeinnütziger Zusammenschluss aus Industrie, Wissenschaft und Zivilgesellschaft, hält in ihrem Bericht fest: Ohne umfassende Beobachtbarkeit kann ein Unternehmen Fehler nicht zuverlässig erkennen und eingreifen, bevor Schaden entsteht. Bemerkenswert ist zudem der Befund, dass fast die Hälfte der dokumentierten Agentenfehler ohne jeden Angreifer auftritt. Das Risiko ist also nicht primär Cyberkriminalität, sondern das Fehlverhalten des Agenten selbst.

Was die Untersuchung der Partnership on AI zeigt

Die vier meistgenutzten Agenten-Frameworks liefern nicht alle Daten, die für eine wirksame Kontrolle nötig sind. Untersucht wurden das Agents SDK von OpenAI, das Claude Agent SDK von Anthropic sowie die Open-Source-Frameworks LangGraph und CrewAI. Bewertet wurde, ob sie Signale für sechs Überwachungsziele ausgeben: Regelverstöße, unautorisierte Aktionen, Versagen der menschlichen Aufsicht, schleichende Verhaltensänderungen, Risiken im Zusammenspiel mehrerer Agenten und Prüfbarkeit.

Die wichtigsten Lücken:

• —Keine dauerhafte Agenten-Identität: Agenten tragen meist nur Namen, die für einen einzelnen Durchlauf gelten. Ein Unternehmen kann damit nicht verlässlich belegen, welcher Agent welche Aktion ausgeführt hat.
• —Fehlende Dokumentation menschlicher Eingriffe: Kein Framework erfasst vollständig, wer eine Aktion geprüft hat und ob diese Prüfung vorgeschrieben war.
• —Unprotokollierte Rechte- und Gedächtnisänderungen: Nur eines der vier Frameworks protokolliert, wenn sich der Berechtigungsmodus eines Agenten ändert; Änderungen am Agentengedächtnis erfassen die meisten nicht.

Die Autorinnen unterscheiden zwei Arten von Aufzeichnungen. Erstens Protokolle darüber, was passiert ist: Das ist vor allem eine Frage der Standardisierung, etwa über den offenen Standard OpenTelemetry. Zweitens Aufzeichnungen darüber, warum ein Agent so entschieden hat: Hier ist noch offen, wie verlässlich die angezeigten Denkschritte eines Modells seine tatsächliche Entscheidung widerspiegeln.

Was das für den DACH-Mittelstand bedeutet

Für mittelständische Unternehmen ist Nachvollziehbarkeit keine akademische Frage, sondern Voraussetzung für Haftung, Compliance und Vertrauen. Stellen Sie sich einen Großhändler vor, dessen Agent eigenständig Lieferantenrechnungen prüft und Zahlungen zur Freigabe vorbereitet. Wird eine fehlerhafte Zahlung ausgelöst, müssen Sie belegen können, welcher Agent die Empfehlung gab, welche Daten er nutzte und welche Mitarbeiterin sie freigegeben hat.

Hinzu kommt die Regulierung. Der EU AI Act verpflichtet Betreiber von Hochrisiko-KI-Systemen unter anderem, die menschliche Aufsicht kompetenten Personen mit ausreichender Befugnis zu übertragen und automatisch erzeugte Protokolle, soweit sie unter ihrer Kontrolle stehen, mindestens sechs Monate aufzubewahren. Durch die Änderungsverordnung zum AI Act, den sogenannten Digital Omnibus, gelten diese Pflichten für Hochrisiko-Systeme nach Anhang III ab dem 2. Dezember 2027. Das klingt nach viel Zeit, doch wer heute Agenten in Personal-, Kredit- oder anderen sensiblen Prozessen aufbaut, legt jetzt die Architektur fest, die später prüfungsfest sein muss.

Unabhängig von der Risikoklasse gilt: Eine Freigabe, die nicht dokumentiert ist, ist im Streitfall kaum etwas wert. Die Partnership on AI nennt ein anschauliches Beispiel: Steigt die Freigabequote menschlicher Prüfer plötzlich von 70 auf 95 Prozent, kann ein Unternehmen ohne Prüfer-Protokolle nicht erklären, ob die Agenten besser wurden oder die Kontrolle nachgelassen hat.

Typische Stolperfallen bei der Agenteneinführung

Der größte Fehler ist, Überwachung als nachgelagertes IT-Thema zu behandeln. Weitere typische Fallstricke:

• —Zu weite Berechtigungen: Agenten erhalten aus Bequemlichkeit Vollzugriff auf Systeme, statt eng begrenzter, zeitlich befristeter Rechte.
• —Scheinfreigaben: Mitarbeitende klicken Empfehlungen im Akkord durch, weil die Prüfung zur Formalie geworden ist.
• —Keine Abschaltmöglichkeit: Es fehlt ein definierter Weg, einen fehlerhaften Agenten sofort zu stoppen. Erste Anbieter reagieren darauf: Salesforce bietet für seine Agentenplattform nach eigenen Angaben einen Notschalter, der den Datenverkehr einzelner Agenten auf Ebene des Gateways blockiert.
• —Fehlende Regeln: Telemetrie allein zeigt keinen Regelverstoß, wenn nie festgelegt wurde, was ein Agent darf und was nicht.

Handlungsempfehlungen: Checkliste für nachvollziehbare KI-Agenten

Planen Sie Nachvollziehbarkeit als festen Bestandteil jedes Agentenprojekts ein, bevor der erste Agent produktiv geht. Diese Checkliste hilft:

1. 01Agentenregister anlegen: Erfassen Sie jeden Agenten mit eindeutiger, dauerhafter Kennung, verantwortlicher Person, Zweck und Systemzugriffen.
2. 02Rechte minimal halten: Vergeben Sie nur die Berechtigungen, die für die konkrete Aufgabe nötig sind, und befristen Sie Zugangsdaten.
3. 03Freigaben protokollieren: Halten Sie fest, wer geprüft hat, wann, wie lange und ob die Prüfung verpflichtend war.
4. 04Änderungen loggen: Dokumentieren Sie jede Änderung an Berechtigungen, Gedächtnis, Prompts und verwendetem Modell.
5. 05Notfallprozess definieren: Legen Sie fest, wer einen Agenten stoppen darf und wie das technisch funktioniert.
6. 06Überwachung nach Risiko staffeln: Ein Agent, der E-Mails vorsortiert, braucht weniger Protokolltiefe als einer, der Zahlungen vorbereitet.
7. 07Anforderungen in den Einkauf übernehmen: Fragen Sie Softwareanbieter gezielt nach Agenten-Identität, Freigabeprotokollen und offenen Telemetrie-Standards.

Wenn Sie Agenten in Ihre Abläufe integrieren möchten, begleitet Sie AI Infusion bei der KI-Prozessautomatisierung von der Prozessanalyse bis zum kontrollierten Betrieb; Governance-Fragen klären wir im Rahmen der KI-Beratung.