KI-Gateway: ein Eingang für die Aufrufe von Sprachmodellen

Ein KI-Gateway ist eine zentrale Zwischenschicht, über die Anwendungen eines Unternehmens Sprachmodelle aufrufen, statt jeweils direkt mit dem Anbieter zu sprechen. An dieser einen Stelle werden Zugangsschlüssel verwahrt, Aufrufe protokolliert, Kostengrenzen durchgesetzt und Berechtigungen geprüft; ein Wechsel des Anbieters betrifft dann das Gateway und nicht jede Anwendung einzeln.

Ohne KI-Gateway: wie es meist aussieht

In vielen Unternehmen entstehen Anbindungen an Sprachmodelle nacheinander und unabhängig voneinander. Das Ticketsystem erhält einen Schlüssel für einen Anbieter, das Angebotswerkzeug einen zweiten, ein Skript der Buchhaltung einen dritten. Jede Anbindung bringt ihre eigene Logik für Wiederholungen mit, eigene Protokolle oder gar keine. Die Rechnung des Anbieters nennt eine Summe, aber nicht, welcher Vorgang sie verursacht hat.

Bei zwei Anbindungen ist das noch zu überblicken. Mit jeder weiteren wächst die Zahl der Stellen, an denen ein Schlüssel verloren gehen, ein Programmfehler Kosten auslösen oder ein Anbieter Daten erhalten kann, von denen niemand weiß. Die Schatten-KI hat hier ihre technische Seite: Aufrufe, die an keiner zentralen Stelle sichtbar sind.

Die fünf Aufgaben eines Gateways

• Kostengrenze. Ein Budget je Anwendung, Abteilung oder Zeitraum. Ist es ausgeschöpft, lehnt das Gateway weitere Aufrufe ab oder schlägt Alarm, je nach vereinbarter Regel. Die Grenze wirkt vor der Rechnung und nicht erst danach; wie die Beträge zustande kommen, erklärt der Artikel zu Token-Kosten.
• Protokoll. Zu jedem Aufruf wird festgehalten, welche Anwendung welches Modell genutzt hat, mit wie vielen Token, welcher Laufzeit und welchem Ergebnis. Ob zusätzlich Eingaben und Antworten im Wortlaut gespeichert werden, ist eine eigene Entscheidung, weil darin personenbezogene Daten stehen können.
• Rechte. Festgelegt wird, welche Anwendung welches Modell nutzen und welche Art von Daten an welchen Anbieter senden darf. Ein Werkzeug für interne Texte braucht nicht denselben Zugang wie eines, das Kundenanfragen bearbeitet.
• Anbieterwechsel. Anwendungen sprechen eine einheitliche Schnittstelle an, und welches Modell dahinter antwortet, ist eine Frage der Konfiguration. Das erleichtert den Wechsel bei Preisänderungen, Abkündigungen oder neuen Anforderungen an den Ort der Verarbeitung. Die erneute Prüfung, ob das neue Modell dieselbe Qualität liefert, ersetzt es nicht.
• Schlüsselverwaltung. Die Zugangsschlüssel der Anbieter liegen ausschließlich im Gateway. Anwendungen erhalten eigene Zugänge, die sich einzeln sperren lassen.

Technisch kann ein Gateway ein kleiner eigener Dienst sein, ein Modul innerhalb einer vorhandenen Plattform oder ein fertiges Produkt eines Drittanbieters. Für die Wahl zählen weniger Funktionslisten als drei Fragen: Wo liegen Protokolle und Schlüssel, wer darf Regeln ändern, und was geschieht, wenn das Gateway selbst ausfällt? Weil die Anwendungen nur noch über diese Stelle mit den Modellen sprechen, braucht sie eine eigene Überwachung und einen festgelegten Umgang mit Störungen. Sonst wird aus dem Kontrollpunkt ein Engpass, an dem alles gleichzeitig stehen bleibt.

Was ein KI-Gateway nicht leistet

Das Gateway sieht Aufrufe, aber nicht deren fachliche Richtigkeit. Ob eine Antwort stimmt, zeigt nur eine Prüfung an Fällen mit bekannter richtiger Lösung. Es ersetzt auch keine Entscheidung darüber, welche Daten grundsätzlich in ein Sprachmodell gegeben werden dürfen: Diese Regel trifft das Unternehmen, das Gateway setzt sie technisch um.

Und es erfasst nur, was tatsächlich darüber läuft. Wer im Browser einen Chatdienst mit privatem Konto öffnet, taucht in keinem Protokoll auf. Dafür braucht es eine KI-Richtlinie, die festhält, welche Dienste im Unternehmen zugelassen sind und wofür.

Typische Fehler bei der Einführung

• Umwege bleiben offen. Das Gateway existiert, doch einzelne Anwendungen rufen den Anbieter weiterhin direkt auf, weil das schneller eingerichtet war. Dann stimmen weder Grenze noch Protokoll.
• Volltext ohne Löschfrist. Wer alle Eingaben dauerhaft mitschreibt, baut nebenbei einen neuen Bestand personenbezogener Daten auf.
• Grenze ohne Empfänger. Die Kostengrenze hält einen Vorgang an, aber niemand wird benachrichtigt, und die Fachabteilung wundert sich über liegen gebliebene Fälle.
• Ein Zugang für alle. Das Gateway bündelt die Anbieter, gibt aber sämtlichen Anwendungen denselben Schlüssel – womit die Zuordnung von Kosten und Rechten wieder verloren geht.

Wie wir mit einem eigenen Gateway arbeiten

Anwendungen, die im Betrieb Sprachmodelle nutzen, rufen sie bei uns über ein eigenes Gateway auf, und dort gilt eine harte Kostengrenze. Die Fragen aus diesem Artikel stellen sich deshalb zuerst in unserem eigenen Betrieb. In Kundenvorhaben klären wir früh, ob ein vorhandenes Gateway genutzt, ein neues aufgebaut oder für eine einzelne Anwendung zunächst darauf verzichtet wird, und halten fest, welche Daten an welchen Anbieter gehen. Den Einbau in bestehende Systeme beschreibt die Seite KI-Integration.