Human in the Loop: wann eine KI-Entscheidung zum Menschen geht

Human in the Loop heißt im KI-Betrieb: Ein Vorschlag des Modells wird erst wirksam, nachdem eine benannte Person ihn geprüft hat – immer oder nur dann, wenn das System unsicher ist. Festzulegen sind drei Dinge: ab welcher Schwelle ein Fall zur Freigabe geht, wo er wartet und wer für die Entscheidung einsteht.

Human in the Loop im Betrieb: Begriff und Abgrenzung

Gemeint ist kein Training und keine Qualitätskontrolle während der Entwicklung, sondern ein fester Schritt im laufenden Vorgang. Das Modell liefert einen Vorschlag – eine Zuordnung, eine Antwort, eine Buchung –, und eine vorher festgelegte Regel entscheidet, ob dieser Vorschlag sofort ausgeführt wird oder auf eine Person wartet. Diese Person sieht den Vorschlag, kann ihn übernehmen, ändern oder ablehnen, und ihre Entscheidung wird mit Zeitpunkt und Rolle gespeichert.

Davon zu unterscheiden ist die Durchsicht im Nachhinein. Wer Ergebnisse erst am Monatsende kontrolliert, findet Fehler, die bereits gewirkt haben: die falsche Mail ist verschickt, die Buchung steht im System. Bei der Freigabe im Vorgang hält der Ablauf dagegen an, bis entschieden ist. Beide Formen haben ihren Platz, nur ist die eine kein Ersatz für die andere.

Die Schwelle: wann ein Fall zur Freigabe geht

Welche Fälle eine Person sieht, bestimmt eine Regel und nicht die Tagesform der Sachbearbeitung. Drei Auslöser kommen in der Praxis am häufigsten vor:

• Geringe Sicherheit. Viele Anwendungen liefern zu jedem Vorschlag einen Wert, wie sicher die Einordnung ist. Liegt er unter der vereinbarten Schwelle, geht der Fall zur Person. Ein solcher Wert ist bei Sprachmodellen allerdings keine verlässliche Wahrscheinlichkeit; tragfähig wird die Schwelle erst, wenn sie an Fällen mit bekannter richtiger Antwort eingestellt wurde.
• Tragweite der Handlung. Manche Handlungen gehen unabhängig von jedem Wert zur Freigabe: alles, was Geld bewegt, einen Vertrag berührt oder eine Nachricht an Kunden verschickt.
• Unbekanntes Muster. Ein neuer Lieferant, ein ungewohntes Dokumentformat, eine fehlende Pflichtangabe – Fälle, die keiner bekannten Gruppe zuzuordnen sind, warten ebenfalls.

Die Schwelle ist eine betriebliche Stellgröße mit Folgen in beide Richtungen. Senkt man sie, sieht die Person weniger Fälle und das Risiko steigt; hebt man sie an, wächst der Stapel. Jede Änderung braucht deshalb eine Begründung und ein Datum. Ob ein System für eine niedrigere Schwelle reif ist, zeigt eine vorherige KI-Evaluierung.

Die Freigabe-Warteschlange im Alltag

Fälle, die auf eine Entscheidung warten, brauchen einen festen Ort. Eine Warteschlange, die nur aus Benachrichtigungen im Postfach besteht, geht zwischen anderen Mails unter. Tragfähig ist eine eigene Ansicht in der Anwendung, in der jeder Fall mit Vorschlag, Grund der Vorlage und den Daten erscheint, auf denen der Vorschlag beruht.

Für den Betrieb sind drei Zahlen aufschlussreich: wie viele Fälle offen sind, wie lange der älteste schon wartet und wie oft Vorschläge geändert statt übernommen werden. Die dritte Zahl ist die ehrlichste Rückmeldung über das Modell. Steigt sie nach einem Modellwechsel oder einer neuen Anweisung, ist das ein Warnsignal, lange bevor sich Beschwerden sammeln.

Ebenso festzulegen ist, was geschieht, wenn niemand entscheidet. Ein Fall darf weder still liegen bleiben noch nach Ablauf einer Frist von selbst durchgehen. Er wird weitergereicht – an die Vertretung oder an die Leitung des Bereichs.

Wer verantwortet die Entscheidung?

Nach außen verantwortet das Unternehmen, das die Anwendung einsetzt, jede ausgeführte Handlung; intern liegt die Entscheidung bei der Rolle, die freigibt. In die Beschreibung jedes Vorgangs gehört daher:

• welche Rolle freigeben darf und wer sie vertritt,
• was diese Rolle sehen muss, um tatsächlich prüfen zu können,
• ob sie Vorschläge nur annehmen und ablehnen oder auch ändern darf,
• wie lange Entscheidung und Begründung aufbewahrt werden.

Rechtlich gibt es zusätzliche Grenzen. Art. 22 DSGVO gibt betroffenen Personen grundsätzlich das Recht, keiner ausschließlich automatisierten Entscheidung mit rechtlicher oder ähnlich erheblicher Wirkung unterworfen zu werden, und die KI-Verordnung verlangt in Art. 14 für Hochrisiko-Systeme eine wirksame menschliche Aufsicht. Für die meisten Vorgänge der Sachbearbeitung ist die Freigabe dagegen keine Rechtspflicht, sondern eine Abwägung, welches Risiko ein Unternehmen tragen will.

Typische Fehler bei Human in the Loop

• Nur das Ergebnis im Blick. Die Ansicht zeigt den fertigen Vorschlag ohne Ausgangsdaten. Wer so freigibt, hat keine Grundlage für ein Nein.
• Schwelle geschätzt. Der Wert wird beim Start festgelegt und nie an echten Fällen überprüft.
• Eine einzige berechtigte Person. Urlaub oder Krankheit legen den Vorgang still.
• Durchwinken nach Frist. Sobald ein Fall nach einigen Stunden von selbst ausgeführt wird, ist die Kontrolle nur noch Kulisse.
• Änderungen ohne Auswertung. Korrigierte Vorschläge fließen weder in die nächste Prüfung des Modells noch in die Anweisungen ein.

Wie wir Freigabepunkte vor dem Betrieb festlegen

Bevor ein Vorgang in den Betrieb geht, legen wir mit der Fachabteilung fest, welche Handlungen immer zu einer Person gehen, ab welcher Schwelle ein Fall wartet und wer vertritt. Unsere KI arbeitet dabei nur mit Handlungen, die in einem eigenen Katalog ausdrücklich beschrieben sind; was dort nicht steht, steht ihr nicht zur Verfügung. In der KI-Rezeption, die Anfragen aus E-Mail, WhatsApp, Instagram Direct und Website-Chat vorbereitet, stellt jedes Unternehmen selbst ein, ob Antwortentwürfe erst nach Freigabe hinausgehen. Wie ein Agent mit solchen Regeln in bestehende Abläufe kommt, beschreibt die Seite KI-Agenten für Unternehmen; für den Einbau in vorhandene Software die Seite KI-Integration.