KI-Evaluierung: eine KI-Funktion prüfen, bevor sie in den Betrieb geht

Die KI-Evaluierung prüft eine KI-Funktion an einer festen Sammlung von Testfällen, bevor sie im Betrieb Entscheidungen vorbereitet oder ausführt. Gemessen wird, wie oft das Ergebnis mit der vorher festgelegten richtigen Antwort übereinstimmt, welche Fehler auftreten und was sie kosten würden. Wiederholt wird die Prüfung bei jeder Änderung an Modell, Anweisung oder Daten.

KI-Evaluierung statt Vorführung: der Unterschied

Eine Vorführung belegt, dass eine Funktion gelingen kann. Eine Evaluierung zeigt, wie oft sie gelingt und woran sie scheitert. Für den Betrieb ist nur die zweite Aussage brauchbar, denn Sprachmodelle arbeiten nicht deterministisch: Dieselbe Eingabe kann unterschiedliche Ausgaben erzeugen, und der eine Fall, der in der Präsentation überzeugt hat, sagt wenig über die übrigen.

Klassische Softwaretests fragen, ob ein Programm eine feste Regel einhält. Bei KI-Funktionen gibt es oft keine einzig richtige Formulierung, wohl aber richtige Entscheidungen: der zutreffende Kostenträger, die passende Kategorie, das vollständig ausgefüllte Formular, die korrekte Weiterleitung. Genau diese Entscheidungen werden gezählt, nicht der Wortlaut.

Die Testsammlung aufbauen

Grundlage ist eine Sammlung echter oder realitätsnah nachgestellter Vorgänge, zu denen feststeht, was richtig ist. Diese Antwort legt fest, wer den Vorgang fachlich beherrscht – das ist Aufgabe der Fachabteilung, nicht der Entwicklung. Eine brauchbare Sammlung enthält vier Gruppen:

• Regelfälle. Die häufigen, unauffälligen Vorgänge, aus denen der Alltag überwiegend besteht.
• Grenzfälle. Unvollständige Angaben, widersprüchliche Dokumente, ungewohnte Formate, gemischte Sprachen.
• Fälle zum Abgeben. Eingaben, bei denen das System ablehnen oder an einen Menschen übergeben soll, statt eine Antwort zu erfinden.
• Bekannte Fehler. Jeder Fehler aus dem Pilotbetrieb wird als weiterer Testfall aufgenommen und bleibt darin.

Die Sammlung wird versioniert und strikt getrennt von den Beispielen gehalten, an denen Anweisungen entwickelt wurden. Andernfalls misst die Prüfung nur, ob das System seine Übungsaufgaben wiedererkennt. Stecken personenbezogene Daten darin, gelten dieselben Regeln wie im Betrieb, siehe Auftragsverarbeitung bei KI-Diensten.

Welche Zahlen die Entscheidung tragen

Eine einzelne Trefferquote reicht selten aus. Aussagekräftiger ist eine kleine Auswertung, deren Aufbau vor dem ersten Durchlauf feststeht:

• Anteil richtiger Entscheidungen, getrennt nach Regel- und Grenzfällen. Ein guter Gesamtwert kann schwache Grenzfälle verdecken.
• Art und Folgen der Fehler. Eine falsche Zuordnung, die in der Freigabe auffällt, wiegt anders als eine falsche Auskunft, die direkt beim Kunden landet.
• Anteil der Übergaben. Ein System, das beinahe jeden Fall vorlegt, richtet keinen Schaden an, nimmt aber auch keine Arbeit ab.
• Schwankung. Dieselbe Sammlung mehrfach durchlaufen lassen und vergleichen, wie stark die Ergebnisse voneinander abweichen.
• Aufwand je Vorgang. Laufzeit und Token-Kosten gehören in dieselbe Auswertung, damit die Wahl des Modells nicht allein an der Qualität hängt.

Welcher Wert ausreicht, lässt sich nicht allgemein angeben. Er ergibt sich aus dem Vorgang: was ein Fehler anrichtet, ob eine Freigabe nach dem Prinzip Human in the Loop ihn abfängt und wie zuverlässig die Sachbearbeitung den Vorgang heute erledigt. Entscheidend ist, dass der Maßstab vor der Messung schriftlich feststeht und nicht nachträglich an das Ergebnis angepasst wird.

Erneute KI-Evaluierung nach einem Modellwechsel

Anbieter aktualisieren ihre Modelle, kündigen ältere Versionen ab oder verändern das Verhalten hinter einem gleichbleibenden Namen. Auch eigene Anpassungen verschieben Ergebnisse: eine umformulierte Anweisung, eine erweiterte Wissensbasis, ein neues Dokumentformat beim Lieferanten. Die Prüfung ist deshalb kein einmaliger Schritt vor dem Start, sondern ein fester Bestandteil des Betriebs.

Praktisch bedeutet das: Die Anwendung ruft eine fest benannte Modellversion auf statt einer Bezeichnung, die der Anbieter im Hintergrund umstellt. Vor jedem Wechsel läuft die vollständige Sammlung, und das Ergebnis wird mit dem zuletzt freigegebenen Stand verglichen. Wird eine Fallgruppe schlechter, bleibt die bisherige Version im Einsatz, bis die Ursache geklärt ist. Zwischen zwei Wechseln zeigen die Korrekturen in der Freigabe, ob die Qualität im Alltag hält, was die Messung versprochen hat.

Typische Fehler

• Die Lieblingsbeispiele. Die Sammlung besteht aus Fällen, die in der Präsentation gut aussahen, statt aus dem, was im Alltag tatsächlich ankommt.
• Das Modell benotet sich selbst. Ein zweites Sprachmodell als Prüfer kann Arbeit sparen, ersetzt aber nicht die fachlich festgelegte richtige Antwort.
• Maßstab im Nachhinein. Erst wird gemessen, danach wird entschieden, was als gut gilt.
• Einmal und nie wieder. Vor dem Start wurde gründlich geprüft, später wechselt das Modell ohne neuen Durchlauf.

Wie wir KI-Funktionen vor der Abnahme prüfen

Wir vereinbaren Testfälle und Maßstab mit der Fachabteilung, bevor eine KI-Funktion gebaut wird, und nehmen beides als Abnahmekriterien in das Angebot auf. So steht vor dem Start fest, woran das Ergebnis gemessen wird. Die Prüfung läuft vor der Abnahme und erneut, wenn Modell oder Anweisung wechseln; neue Fehler aus dem Betrieb landen als zusätzliche Testfälle in der Sammlung. Wie das in einem Vorhaben abläuft, beschreibt die Seite KI-Integration; wer zunächst klären will, welcher Vorgang den Aufwand überhaupt lohnt, beginnt mit der KI-Einführung.