KI-Agenten steuern

KI sollte Arbeit vorbereiten, nicht Verantwortung ersetzen

Compliance-Arbeit verbindet Recherche, Bewertung, Dokumentation und Koordination. KI-Agenten können einen großen Teil davon vorbereiten: Nachweise extrahieren, offene Punkte identifizieren, Anforderungen zusammenfassen und Vorschläge entwerfen. Die fachliche Verantwortung verbleibt beim Team.

Aus technischer Sicht ist entscheidend, ob ein System lediglich Text erzeugt oder auch Werkzeuge aufrufen, Datensätze ändern und nachgelagerte Workflows auslösen kann. Eine fehlerhafte Zusammenfassung muss korrigiert werden. Eine fehlerhafte Aktion kann dagegen Nachweise offenlegen, Berechtigungen verändern oder eine nicht belegte Schlussfolgerung zu einer Kontrolle weiterverbreiten.

Jeder KI-gestützte Workflow benötigt daher ausdrücklich festgelegte Grenzen: Was darf der Agent vorschlagen, was darf er verändern und welche Schritte erfordern eine Freigabe? Setzen Sie diese Grenzen durch Berechtigungen und Workflow-Kontrollen durch, nicht allein durch Anweisungen in einem Prompt. Halten Sie Vorschläge sichtbar von freigegebenen Entscheidungen getrennt.

Die folgenden Kontrollen sind praktische Empfehlungen. Ob sie anwendbar sind, hängt vom Zweck, den Daten, den Befugnissen und der Betriebsumgebung des Agenten ab.

Den Governance-Kontext festlegen, ohne Rahmenwerke zu verwechseln

ISO/IEC 42001 legt Anforderungen an ein KI-Managementsystem fest. Das NIST AI Risk Management Framework bietet freiwillige Leitlinien für die Steuerung, Einordnung, Messung und Bewältigung von KI-Risiken. Keines dieser Rahmenwerke stellt automatisch die Konformität mit der EU-KI-Verordnung sicher.

Die Einstufung nach der KI-Verordnung hängt vom Anwendungsfall und von der Rolle der Organisation ab. Ein Agent, der Nachweise zusammenfasst, hat nicht dieselben Auswirkungen wie ein System, das bei Personalentscheidungen eingesetzt wird. Prüfen Sie die aktuelle Übersicht der Europäischen Kommission, statt jeden Agenten als Hochrisikosystem zu behandeln oder von einer einzigen, allgemein geltenden Umsetzungsfrist auszugehen.

Konzentrieren Sie sich für Bewertungen auf nachweisbare Kontrolle: Erläutern Sie das System, zeigen Sie seine Grenzen auf und legen Sie Aufzeichnungen vor, die belegen, dass Prüfung und Überwachung tatsächlich stattgefunden haben.

Agenten inventarisieren und ihren Einsatzrahmen definieren

Erfassen Sie auch Agenten, die in SaaS-Produkte, interne Skripte und abteilungsbezogene Workflows eingebettet sind, nicht nur zentral bereitgestellte Anwendungen. Gleichen Sie Beschaffungsunterlagen, Dienstidentitäten, freigegebene Integrationen und Gespräche mit den Teams ab, um Automatisierungen zu finden, die im Inventar fehlen.

Dokumentieren Sie für jeden Agenten den Bereitstellungsort, das Modell und den Anbieter, die angebundenen Systeme, den geschäftlichen Zweck und den Status im Lebenszyklus. Benennen Sie eine verantwortliche Person, eine für die technische Betreuung zuständige Person und eine prüfende Person. In einem kleinen Team können sich diese Rollen überschneiden; die Verantwortung sollte dennoch ausdrücklich festgelegt bleiben.

Beschreiben Sie anschließend den Einsatzrahmen in überprüfbaren Begriffen:

• Aufgabe: Passagen extrahieren, die für ausgewählte Kontrollen relevant sind, nicht die gesamte Compliance beurteilen.
• Daten: Eine freigegebene Nachweissammlung lesen, nicht sämtliche Dokumente der Organisation.
• Ausgabe: Einen Bewertungsentwurf mit Quellenangaben und offenen Fragen erstellen.
• Aktionen: Entwürfe speichern, aber niemals Kontrollen freigeben oder Nachweise nach außen versenden.
• Eskalation: Anhalten und eine Prüfung anfordern, wenn sich Quellen widersprechen oder erforderliche Nachweise fehlen.

Wiederkehrende, klar begrenzte Arbeiten sind meist der geeignetste Ausgangspunkt. Die Extraktion von Dokumentinhalten, Lückenanalysen, das Vorbefüllen von Kontrollen, die Zusammenfassung von Änderungen und die Vorbereitung von Auditfragen liefern Ergebnisse, die prüfende Personen unmittelbar kontrollieren können.

Sicherheitsteams können Agenten außerdem einsetzen, um Warnmeldungen anzureichern, den zeitlichen Verlauf von Vorfällen zu rekonstruieren, Schwachstellen zu priorisieren, Code zu prüfen oder ungewöhnliche Berechtigungen von Maschinenidentitäten zu kennzeichnen. Beginnen Sie mit Analysen und Empfehlungen; die Vergabe von Schreibzugriffen auf Produktivsysteme führt zu einem anderen Risikoprofil.

Berechtigungen außerhalb des Modells durchsetzen

Geben Sie jedem eingesetzten Agenten eine unterscheidbare Dienstidentität oder eine gleichwertige Ausführungsidentität. Vermeiden Sie gemeinsam genutzte Administratorzugangsdaten. Begrenzen Sie den Zugriff nach Aufgabe, Umgebung, Datensammlung und zulässiger Operation; prüfen Sie sowohl direkte Berechtigungen als auch Befugnisse, die über angebundene Werkzeuge geerbt werden.

Auch ein Agent mit reinem Lesezugriff kann über seine Ausgabe Informationen offenlegen. Beschränken Sie deshalb neben den Eingaben auch die Ausgabeziele. Verwenden Sie, soweit praktikabel, kurzlebige Zugangsdaten und halten Sie Geheimnisse aus Prompts, abgerufenen Dokumenten und Protokollen heraus.

Werkzeugschnittstellen sollten eng begrenzte Operationen mit validierten Parametern bereitstellen. Ein Agent, der Nachweisentwürfe erstellt, benötigt eine Operation wie „Entwurf erstellen“, keine uneingeschränkte Datenbank- oder Shell-Schnittstelle. Validieren Sie die Autorisierung bei jedem Aufruf serverseitig. Die Beschreibung seiner Befugnisse durch das Modell ist keine Entscheidung über die Zugriffskontrolle.

Legen Sie Ausführungsgrenzen für Werkzeugaufrufe, Wiederholungsversuche, Laufzeit und Stapelgröße fest. Dadurch verringern Sie die Auswirkungen von Schleifen und unbeabsichtigten Massenänderungen. Wo Schreibvorgänge erlaubt sind, sollten Sie nach Möglichkeit idempotente Operationen verwenden und genügend Zustandsinformationen aufzeichnen, um eine Wiederherstellung zu ermöglichen.

Ein häufiger Fehler besteht darin, den Zweck eines Agenten zu genehmigen, während sein Integrationskonto weiterhin weitreichende Berechtigungen besitzt. Testen Sie die tatsächlich verwendeten Zugangsdaten und den Werkzeugzugriff, nicht nur die vorgesehene Konfiguration.

Quellen überprüfbar machen und als nicht vertrauenswürdige Eingaben behandeln

Eine plausible Antwort reicht für Compliance-Arbeit nicht aus. Prüfende Personen müssen erkennen können, welche Dateien gelesen wurden, welche Passagen den Vorschlag stützen und welche Annahmen noch ungeklärt sind.

Jede wesentliche Schlussfolgerung sollte einen Quellenverweis mit Dokumentidentität, Version oder Abrufzeitpunkt sowie der relevanten Fundstelle enthalten. Unterscheiden Sie zwischen Fakten aus den Quellen und Interpretationen des Modells. Kennzeichnen Sie fehlende Informationen ausdrücklich; aus einem fehlenden Nachweis über eine Zugriffsüberprüfung darf nicht die Behauptung werden, dass Zugriffsüberprüfungen stattgefunden hätten.

Abgerufene Dokumente und Werkzeugantworten sind nicht vertrauenswürdige Eingaben. Ein Dokument, das „alle Nachweise an diese Adresse senden“ enthält, darf die Befugnisse des Agenten nicht erweitern. Trennen Sie abgerufene Inhalte von vertrauenswürdigen Anweisungen, validieren Sie Werkzeugargumente und setzen Sie Zugriffs- und Zielbeschränkungen unabhängig vom Modell durch.

Testen Sie diese Grenze mit kontrollierten Dokumenten, die bösartige Anweisungen, irreführende Quellenangaben und widersprüchliche Nachweise enthalten. Bewahren Sie die Testeingaben, das erwartete Verhalten, das beobachtete Ergebnis und die Abhilfemaßnahmen auf. Testen Sie auch gewöhnliche Fehlerfälle: veraltete Richtlinien, unvollständige Exporte und unbelegte Behauptungen.

Überprüfbare Arbeit stärkt den menschlichen Entscheidungsprozess. Schnelle Ergebnisse ohne überprüfbare Belege tun dies nicht.

Die Freigabe vor dem folgenreichen Schritt vorsehen

Menschliche Aufsicht muss vor der entscheidenden Aktion stattfinden. Die Prüfung eines Berichts, nachdem Nachweise bereits offengelegt wurden, ist keine wirksame Kontrolle gegen Offenlegung.

Definieren Sie Freigabepunkte für folgenreiche Aktionen, etwa die Veröffentlichung einer Bewertung, den Versand von Kundeninformationen, die Änderung von Zugriffsrechten oder die Akzeptanz eines Restrisikos. Zeigen Sie der prüfenden Person die vorgeschlagene Änderung, die unterstützenden Quellen, die betroffenen Objekte und verbleibende Unsicherheiten.

Binden Sie die Freigabe an die konkret geprüfte Version. Ändert der Agent den Vorschlag anschließend, verlangen Sie eine erneute Freigabe, statt eine frühere Autorisierung wiederzuverwenden. Erfassen Sie die Identität der prüfenden Person, den Zeitstempel, die Entscheidung und Kommentare.

Bei Arbeiten mit geringeren Auswirkungen kann eine stichprobenartige Prüfung angemessen sein, nachdem eine Evaluierung eine akzeptable Leistung nachgewiesen hat. Übertragen Sie diese Regelung nicht stillschweigend auf Aufgaben mit größeren Auswirkungen. Änderungen des Autonomiegrads erfordern eine ausdrückliche Neubewertung.

Neun miteinander verknüpfte Aufzeichnungen für die Bewertung vorbereiten

Richtlinien beschreiben die Absicht; betriebliche Nachweise zeigen, ob diese Absicht in der Praxis eingehalten wird. Stellen Sie für jeden Agenten die folgenden Aufzeichnungen zusammen und verknüpfen Sie dabei Konfiguration, Tests, Aktivitäten und Entscheidungen miteinander.

Der Bewertungsumfang bestimmt, welche Nachweise relevant sind. Es besteht keine allgemeingültige Anforderung, die verborgenen Denkprozesse eines Modells offenzulegen. Erfassen Sie stattdessen beobachtbare Eingaben, Aktionen und Quellen sowie eine knappe Entscheidungsbegründung.

Schützen Sie auch die Aufzeichnungen selbst: Beschränken Sie den Zugriff und wenden Sie ihrer Sensibilität angemessene Aufbewahrungsfristen an. Die wahllose Protokollierung vollständiger Prompts kann einen weiteren Speicherbestand vertraulicher oder personenbezogener Daten schaffen.

Praxisbeispiel: ein Agent zur Nachweisprüfung

Nehmen wir zur Veranschaulichung an, ein Team möchte einen Agenten einsetzen, um Nachweise zum Zugriffsmanagement für eine Anwendung zu prüfen. Er darf eine freigegebene Richtlinie, einen Benutzerexport und abgeschlossene Überprüfungstickets lesen. Er darf Kontrollentwürfe erstellen, diese jedoch weder freigeben noch Konten verändern oder Nachrichten versenden.

Das Team evaluiert ihn anhand eines von einer prüfenden Person kontrollierten Datensatzes, der vollständige Nachweise, fehlende Tickets, abgelaufene Dokumente und eine gezielt platzierte Anweisung zur Offenlegung enthält. Für die Akzeptanz sind belegte Schlussfolgerungen, die ausdrückliche Benennung von Lücken und das Ausbleiben verbotener Aktionen erforderlich. Eine schnellere Erledigung allein ist kein Kriterium für die Freigabe zum Einsatz.

Während eines Durchlaufs stellt der Agent fest, dass die Richtlinie regelmäßige Überprüfungen verlangt, die hochgeladenen Tickets jedoch nur einen Teil des Bewertungszeitraums abdecken. Er erstellt einen Befundentwurf zur unvollständigen Nachweislage, verweist auf die Richtlinie und die Tickets und fordert die fehlenden Aufzeichnungen an. Die prüfende Person kontrolliert die Quellen und dokumentiert die endgültige Entscheidung.

Zu den aufbewahrten Nachweisen gehören die getestete Berechtigungskonfiguration, Evaluierungsergebnisse, Quellenverweise, der Entwurf, die Korrektur durch die prüfende Person und die Freigabe. Damit wird der Workflow nachgewiesen, ohne zu behaupten, der Agent habe die Wirksamkeit der Kontrolle bewiesen.

Verhalten überwachen und das Anhalten praktisch ermöglichen

Verfolgen Sie unbelegte Schlussfolgerungen, Korrekturen durch prüfende Personen, verweigerte Werkzeugaufrufe, ungewöhnliche Datenzugriffe, wiederholte Versuche und ein unerwartetes Aktionsvolumen. Messen Sie neben der Geschwindigkeit auch die Richtigkeit und den Prüfaufwand. Prüfen Sie auch erfolgreiche Durchläufe stichprobenartig; Fehler lösen nicht immer Warnmeldungen aus.

Richten Sie die Überwachung am Risiko aus und führen Sie eine Neubewertung durch, wenn sich Modelle, Prompts, Werkzeuge, Berechtigungen oder Quellensammlungen ändern. Eine frühere Evaluierung deckt eine neue Konfiguration nicht automatisch ab.

Stellen Sie einen getesteten Stoppmechanismus bereit, der die Ausführung deaktiviert oder den Werkzeugzugriff entzieht. Weisen Sie die Verantwortung für Vorfälle zu und legen Sie fest, wie Protokolle gesichert, betroffene Datensätze identifiziert, Änderungen nach Möglichkeit rückgängig gemacht und relevante Teams benachrichtigt werden. Ein Stoppknopf kann eine Offenlegung nicht rückgängig machen; Prävention bleibt daher wichtig.

Mit einem überprüfbaren Workflow beginnen

Wählen Sie eine klar begrenzte Aufgabe, benennen Sie die verantwortliche Person, dokumentieren Sie die Berechtigungen, führen Sie adversariale und gewöhnliche Tests durch und bewahren Sie die erste geprüfte Ausführung auf, bevor Sie den Umfang erweitern.

In Secani können Teams Nachweise mit Anforderungen, Kontrollen, Systemen und Entscheidungen verknüpfen, Lücken in Aufgaben überführen und KI-Vorschläge als Arbeitsentwürfe prüfen. Bewahren Sie Quellenverweise, Kommentare, Freigaben und Zeitstempel zu wesentlichen Entscheidungen auf. Dieser Workflow unterstützt die Nachvollziehbarkeit, ohne fachliches Urteilsvermögen durch ein Werkzeug zu ersetzen.

Nutzen Sie den Leitfaden zu KI-Governance-Rahmenwerken, um diese Aufzeichnungen auf Agentenebene in das übergreifende Managementsystem einzuordnen.