KI-Agenten brauchen Aufsicht – warum der Mensch im Freigabeprozess bleibt und was das für den Mittelstand bedeutet

Unternehmen trauen KI-Agenten weniger zu, als es der Hype vermuten lässt – und das ist eine gute Nachricht für den Mittelstand. Eine aktuelle Befragung von VentureBeat zeigt: Der Anteil der Organisationen, die KI-Agenten Änderungen an Produktivsystemen allein auf Basis automatisierter Tests erlauben (oder darauf hinarbeiten), ist innerhalb eines Monats von 75 auf 56 Prozent gesunken. Gleichzeitig wollen 42 Prozent der Unternehmen mit Agenten-Einsatz auf absehbare Zeit eine menschliche Prüfung beibehalten – im Vormonat waren es nur 20 Prozent. Für mittelständische Unternehmen in Deutschland, Österreich und der Schweiz liegt darin eine klare Botschaft: Wer KI-Agenten einführt, sollte die Kontrolle von Anfang an mitplanen, statt sie später nachzurüsten.

Was hinter dem Vertrauensrückgang steckt

Der Vertrauensrückgang hat einen konkreten Grund: Automatisierte Tests fangen nicht alle Fehler ab, die im Alltag sichtbar werden. 61 Prozent der befragten Unternehmen mit Vorab-Tests berichten von mindestens einem Fehler gegenüber Kunden in den letzten zwölf Monaten – obwohl die KI-Funktion die internen Prüfungen bestanden hatte. Als größte Hürde für Vertrauen nennen die Befragten, dass Testergebnisse nicht zu realen Ergebnissen passen (27 Prozent), gefolgt von fehlender Nachvollziehbarkeit (24 Prozent).

Die Zahlen stammen aus einer Leserbefragung mit rund 140 Teilnehmenden und sind nicht repräsentativ. Die Richtung deckt sich aber mit dem, was wir in Projekten beobachten: Ein Agent kann jeden einzelnen Arbeitsschritt technisch korrekt ausführen und trotzdem ein falsches Gesamtergebnis liefern – etwa weil er eine Geschäftsregel nicht kennt, die nirgends dokumentiert ist, sondern nur in den Köpfen erfahrener Mitarbeitender existiert.

Warum das Thema für den DACH-Mittelstand besonders relevant ist

Für Mittelständler ist menschliche Aufsicht weniger Bremse als Wettbewerbsvorteil. Drei Gründe sprechen dafür:

• —Regulatorik: Der EU AI Act verlangt für Hochrisiko-Systeme ausdrücklich menschliche Aufsicht (Art. 14). Die DSGVO setzt vollautomatisierten Einzelentscheidungen mit erheblicher Wirkung auf Personen enge Grenzen (Art. 22). Wer Freigabeprozesse früh etabliert, muss später nicht umbauen.
• —Prozesswissen: Viele Abläufe im Mittelstand sind gewachsen und nur teilweise dokumentiert. Ein Agent, der eine Bestellung auslöst oder einen Lieferantenstamm ändert, kennt die informellen Ausnahmen nicht.
• —Haftung und Kundenbeziehung: Ein Fehler gegenüber einem Schlüsselkunden wiegt im Mittelstand schwerer als in einem Konzern mit Tausenden Kunden.

Praxisbeispiel: Ein Agent im Einkauf

Ein Maschinenbauer mit 250 Mitarbeitenden setzt einen KI-Agenten ein, der Bedarfsmeldungen auswertet und Bestellvorschläge erstellt. Technisch könnte der Agent die Bestellung direkt im ERP auslösen. Sinnvoll ist ein gestuftes Modell: Wiederkehrende C-Teile unter einem Schwellenwert bestellt der Agent selbstständig, alles darüber legt er dem Einkäufer zur Freigabe vor – mit Begründung und Preisvergleich. So entsteht Entlastung im Tagesgeschäft, ohne dass ein Fehlgriff bei einem strategischen Lieferanten unbemerkt bleibt. Nach einigen Monaten zeigen die Freigabedaten, wo der Schwellenwert angehoben werden kann.

Typische Stolperfallen bei der Einführung von KI-Agenten

Die häufigsten Fehler entstehen nicht im Modell, sondern in der Organisation rund um den Agenten:

1. 01Alles-oder-nichts-Denken: Entweder volle Autonomie oder gar kein Agent. Besser ist eine Abstufung nach Risiko.
2. 02Tests mit Freigabe verwechseln: Bestandene Tests sagen, dass ein System grundsätzlich funktioniert – nicht, dass jede einzelne Aktion im Livebetrieb freigegeben werden sollte.
3. 03Nur die Technik überwachen: Ob der Server läuft, ist wichtig. Entscheidend ist aber, ob die Ergebnisse fachlich stimmen.
4. 04Zu breite Berechtigungen: Agenten erhalten oft pauschale Systemzugänge statt nur die Rechte, die für die konkrete Aufgabe nötig sind.
5. 05Freigabe ohne Kontext: Wer nur „Ja/Nein“ klicken kann, ohne Begründung zu sehen, winkt nach kurzer Zeit alles durch.

Handlungsempfehlungen: In fünf Schritten zu kontrollierter Agenten-Autonomie

Kontrollierte Autonomie entsteht schrittweise und datenbasiert. Wir empfehlen folgendes Vorgehen:

1. 01Prozesse nach Risiko einteilen: Ordnen Sie jede geplante Agenten-Aktion einer Stufe zu – etwa „autonom“, „autonom mit Protokoll“, „Freigabe erforderlich“.
2. 02Freigabepunkte gestalten: Legen Sie fest, wer freigibt, in welcher Frist und mit welchen Informationen. Die Begründung des Agenten gehört immer dazu.
3. 03Fachliche Qualität messen: Prüfen Sie stichprobenartig, ob Ergebnisse inhaltlich korrekt sind – nicht nur, ob der Agent fehlerfrei durchläuft.
4. 04Rechte minimal halten: Der Agent handelt mit den Berechtigungen der Person, für die er arbeitet, nicht mit einem Generalschlüssel.
5. 05Autonomie erarbeiten lassen: Erweitern Sie den Spielraum erst, wenn Freigabedaten über mehrere Wochen eine niedrige Korrekturquote belegen.

Bei der Gestaltung solcher Prozesse unterstützt die KI-Prozessautomatisierung von AI Infusion – von der Risikoeinstufung bis zum Freigabe-Workflow. Für die strategische Frage, welche Prozesse sich überhaupt für Agenten eignen, bietet sich unsere KI-Beratung an.