
KI-Governance kann ein Managementsystem, ein Risikorahmenwerk und gesetzliche Pflichten verbinden. Die technische Herausforderung besteht darin, sie zu verknüpfen, ohne so zu tun, als seien sie austauschbar. Eine Richtlinie, ein Evaluierungsbericht und eine rechtliche Einstufungsentscheidung können denselben KI-Dienst betreffen, doch jedes beantwortet eine andere Frage.
ISO/IEC 42001 legt fest, wie eine Organisation KI steuert. Das AI Risk Management Framework des NIST hilft Teams, Risiken im jeweiligen Kontext zu untersuchen und zu steuern. Die KI-Verordnung der EU (AI Act) begründet rechtliche Pflichten abhängig vom System, seiner Zweckbestimmung und der Akteursrolle der Organisation.
Für einen CTO ist das nützliche Ergebnis eine einzige prüfbare Governance-Kette: ein festgelegter Anwendungsfall, verantwortliche Personen, umgesetzte Schutzmaßnahmen, Testnachweise, Freigabeentscheidungen und Überwachung. Zuordnungen zu Rahmenwerken sollten in diese Kette verweisen und dabei Anforderungen sichtbar lassen, die noch technische, rechtliche oder konformitätsbezogene Arbeit erfordern.
| Instrument | Hauptzweck | Nützliches Umsetzungsergebnis | Was es nicht begründet |
|---|---|---|---|
| ISO/IEC 42001 | Anforderungen an ein KI-Managementsystem (AIMS) | Governance-Prozesse mit festgelegtem Geltungsbereich, Verantwortlichkeiten, Bewertungen, betriebliche Maßnahmen und Verbesserungsnachweise | Automatische Rechtskonformität oder die Freigabe jedes KI-Produkts |
| NIST AI RMF | Freiwillige Leitlinien für den Umgang mit KI-Risiken | Kontextbezogene Risikoanalyse, Evaluierungsmethoden, Behandlungsentscheidungen und Überwachung | Eine Zertifizierung nach ISO-Vorbild oder eine rechtliche Ausnahme |
| KI-Verordnung der EU | Verbindliche rechtliche Pflichten innerhalb ihres Anwendungsbereichs | Rollen- und Einstufungsentscheidungen, anwendbare technische und organisatorische Maßnahmen und vorgeschriebene rechtliche Dokumentation | Eine allgemeine Checkliste, die für jeden KI-Anwendungsfall gleich gilt |
ISO/IEC 42001 legt Anforderungen an Aufbau, Umsetzung, Aufrechterhaltung und fortlaufende Verbesserung eines AIMS fest. Die Anforderungen an das Managementsystem umfassen Kontext der Organisation, Führung, Planung, Unterstützung, Betrieb, Bewertung der Leistung und Verbesserung.
Diese Struktur ist wichtig, wenn mehrere Teams KI entwickeln oder einkaufen. Sie bietet eine Grundlage für die Entscheidung, wer den Einsatz freigibt, wie Folgen- und Risikobeurteilungen durchgeführt werden, wie mit Lieferantenabhängigkeiten umgegangen wird und wie Fehler zu Korrekturmaßnahmen führen.
Die Norm enthält außerdem Referenzmaßnahmen in Anhang A sowie Umsetzungshinweise. Die Auswahl der Maßnahmen ist risikobasiert und erfordert eine dokumentierte Begründung; wer den Anhang in eine Checkliste kopiert, belegt damit nicht, dass das Managementsystem funktioniert.
Eine unabhängige Zertifizierungsstelle kann das AIMS in seinem Geltungsbereich bewerten. ISO selbst zertifiziert keine Organisationen. Eine Zertifizierung gibt Sicherheit über dieses Managementsystem innerhalb seiner angegebenen Grenze, keine uneingeschränkte Aussage, dass jedes Modell oder jede Ausgabe sicher ist.
Das NIST AI RMF ordnet die Risikoarbeit nach den Funktionen Govern, Map, Measure und Manage. Govern ist eine Querschnittsfunktion; die Funktionen sind nicht einfach vier aufeinanderfolgende Projektphasen.
Zu seinen Merkmalen der Vertrauenswürdigkeit gehören Validität und Zuverlässigkeit, Sicherheit im Sinne von Safety, Security und Resilienz, Rechenschaft und Transparenz, Erklärbarkeit und Interpretierbarkeit, Schutz der Privatsphäre sowie Fairness mit gesteuerter schädlicher Verzerrung. Zwischen diesen Merkmalen kann es Zielkonflikte geben. Detailliertere Erklärungen können beispielsweise Informationen offenlegen, die datenschutzrechtlich geschützt werden müssen.
Die NIST-Leitlinien helfen Teams, allgemeine Ziele in anwendungsfallspezifische Fragen und Evaluierungen zu übersetzen. Sie behandeln auch Rechenschaft; Governance ist nicht ISO 42001 vorbehalten. Es gibt kein Zertifizierungsprogramm für das NIST AI RMF, das mit der Zertifizierung eines ISO-Managementsystems vergleichbar wäre. Eine externe Bewertung kann Vertrauen schaffen, ihr Umfang und ihre Methodik müssen jedoch angegeben werden.
Die KI-Verordnung der EU regelt bestimmte Praktiken, KI-Systeme und KI-Modelle mit allgemeinem Verwendungszweck über unterschiedliche Bestimmungen. Die rechtliche Anwendbarkeit ergibt sich nicht allein aus einem technischen Risikowert. Zweckbestimmung, räumlicher Anwendungsbereich, Akteursrolle und spezifische Einstufungsregeln sind maßgeblich.
Die Pflichten eines Anbieters unterscheiden sich von denen eines Betreibers. Ein Modell ist nicht dasselbe wie die Anwendung, die es einbindet, und die Bezeichnung einer Software als „Agent“ klärt weder ihre rechtliche Rolle noch ihre Einstufung.
Führen Sie ein KI-Inventar auf der Ebene betrieblicher Anwendungsfälle, nicht nur der Anbieternamen. Ein zugrunde liegendes Modell kann sowohl einen internen Schreibassistenten als auch ein Werkzeug zur Bewerbervorauswahl unterstützen. Diese Einsätze haben unterschiedliche Betroffene, Folgen, Maßnahmen und mögliche Pflichten.
Dokumentieren Sie für jeden Anwendungsfall:
Auch eine Organisation außerhalb der EU kann unter bestimmten Umständen in den Anwendungsbereich der Verordnung fallen. Umgekehrt rechtfertigt es die bloße Existenz von Kunden in der EU nicht, jedem Produkt jede denkbare Pflicht zuzuweisen. Prüfen Sie die tatsächlichen räumlichen und rollenbezogenen Voraussetzungen.
Trennen Sie verbotene Praktiken, Anforderungen an Hochrisiko-KI-Systeme, besondere Transparenzpflichten und Pflichten für KI-Modelle mit allgemeinem Verwendungszweck. Das sind keine austauschbaren Stufen auf einer einzigen technischen Schweregradskala. Ein scheinbar folgenarmer Chatbot kann Transparenzpflichten unterliegen; ein folgenreicher Anwendungsfall erfordert eine detailliertere rechtliche Bewertung.
Die Übersicht der Europäischen Kommission zur KI-Verordnung nennt mit Prüfstand 7. Oktober 2026 folgenden Zeitplan:
| Bereich | Geltungsbeginn |
|---|---|
| Verbotene Praktiken und KI-Kompetenz | 2. Februar 2025 |
| Bestimmungen zu KI mit allgemeinem Verwendungszweck | 2. August 2025 |
| Allgemeine Geltung, einschließlich Transparenz | 2. August 2026 |
| Hochrisiko-KI-Systeme nach Anhang III | 2. Dezember 2027 |
| Hochrisiko-KI-Systeme im Zusammenhang mit regulierten Produkten nach Anhang I | 2. August 2028 |
Bewerten Sie geänderte Bestimmungen, Übergangsregelungen und das konkrete System gesondert. Schieben Sie bereits geltende Pflichten nicht auf, nur weil es für Hochrisiko-Systeme ein späteres Datum gibt. Halten Sie die rechtliche Bewertung datiert und nutzen Sie unseren Leitfaden zur Vorbereitung auf die KI-Verordnung für den Kontext zu Zeitplan und Rollenbewertung.
Eine praxistaugliche Governance-Kette beginnt mit dem Anwendungsfall und endet mit einer geprüften Entscheidung:
Zweck → Folgen und Risiken → Anforderungen → Schutzmaßnahmen → Evaluierungen → Freigabe → Überwachung.
Jede Verbindung braucht genügend Details, damit jemand außerhalb des Umsetzungsteams sie prüfen kann. „Menschliche Aufsicht umgesetzt“ reicht nicht aus, wenn die prüfende Person nicht feststellen kann, wer eingreifen kann, was diese Person sieht und ob der Eingriff funktioniert.
Verwenden Sie eine Anforderungsdokumentation, die die Quellanforderung von ihrer Umsetzung unterscheidet. Ein sinnvolles Mindestschema umfasst Quelle und Version, Geltungsbereich, Anforderungstext oder Verweis, lokale Auslegung, maßnahmenverantwortliche Person, verknüpfte Nachweise, prüfende Person, Status und verbleibende Lücke.
| Governance-Thema | Gemeinsame Nachweise | Zusätzliche Fragen, die erhalten bleiben müssen |
|---|---|---|
| Rechenschaft | Verantwortlichkeitsdokumentation und Freigabeverfahren | Hat der rechtliche Akteur die erforderlichen Verantwortlichkeiten? |
| Daten-Governance | Herkunft, Dokumentation der Datensätze und Zugriffskontrollen | Werden systemspezifische rechtliche Anforderungen erfüllt? |
| Menschliche Aufsicht | Gestaltung der Benutzeroberfläche, Schulung und Eingriffstests | Kann die benannte Person den betreffenden Vorgang verstehen, übersteuern oder stoppen? |
| Risikomanagement | Beurteilung, Behandlungsplan und Entscheidung über das Restrisiko | Deckt die Beurteilung den geforderten Lebenszyklus und die Betroffenen ab? |
| Überwachung | Kennzahlen, Vorfallaufzeichnungen und Prüfungen von Änderungen | Werden anwendbare Melde- und Marktbeobachtungspflichten gesondert erfüllt? |
Behandeln Sie diese Tabelle als Umsetzungshilfe, nicht als maßgebliche Gleichwertigkeitszuordnung. Die Beziehungen sind n:m: Eine Evaluierung kann mehrere Anforderungen stützen, während eine Anforderung mehrere Maßnahmen und Aufzeichnungen benötigen kann.
Prüfen Sie vor der Wiederverwendung von Nachweisen deren Umfang, Datum, Systemversion und Schlussfolgerung. Ein Test für eine Modellkonfiguration kann nicht automatisch eine andere Konfiguration stützen. Eine Unternehmensrichtlinie belegt, dass eine dokumentierte Regel existiert; für ihre Ausführung sind Betriebsaufzeichnungen nötig.
Die NIST-Funktionen bieten eine nützliche Möglichkeit, Umsetzungsfragen innerhalb des AIMS zu ordnen. Sie sollten konkrete Arbeitsergebnisse hervorbringen, nicht nur ausgefüllte Fragebogenfelder.
Legen Sie fest, wer für das System verantwortlich ist, wer wesentliche Risiken unabhängig prüft und wer Ausnahmen genehmigen oder den Einsatz stoppen darf. Bestimmen Sie Kompetenzanforderungen und Eskalationswege. Verbinden Sie diese Verantwortlichkeiten mit bestehenden Prozessen für Sicherheit, Datenschutz, Beschaffung und Vorfallmanagement.
Ein nützliches Arbeitsergebnis ist ein Freigabeverfahren, das erforderliche prüfende Personen und Nachweise benennt. Eine Risikoakzeptanz sollte die entscheidende Person, die Begründung, Bedingungen und den Überprüfungsauslöser nennen, statt nur „akzeptiert“ zu vermerken.
Dokumentieren Sie den Arbeitsablauf, bevor Sie Kennzahlen wählen. Ermitteln Sie, wo KI Entscheidungen beeinflusst, wer die Folgen trägt und was passiert, wenn Ausgaben falsch, nicht verfügbar oder missbraucht sind.
Berücksichtigen Sie vorhersehbaren Missbrauch und Ausfälle von Abhängigkeiten. Erfassen Sie bei einem Agenten, der Aktionen ausführen kann, Werkzeuge, Zugangsdaten, zugängliche Daten, Freigabegrenzen und Wiederherstellungswege. Dokumentieren Sie bei KI von Drittanbietern, was der Lieferant steuert und was in Ihrer Verantwortung bleibt.
Wählen Sie Evaluierungen, die an ermittelte Risiken gebunden sind. Je nach Anwendungsfall können dazu Aufgabengenauigkeit, Leistung in Untergruppen, Robustheit, Datenschutzlecks, Prompt Injection, unbefugte Aktionen und das Verständnis der Bedienenden gehören.
Dokumentieren Sie Herkunft und Repräsentativität der Datensätze, Testbedingungen, Kennzahlen, Grenzen und Akzeptanzschwellen. Messen Sie, wo möglich, die gesamte Anwendung: Retrieval, Prompts, Berechtigungen, Schnittstellen und menschliche Arbeitsabläufe können Ergebnisse verändern, auch wenn das zugrunde liegende Modell gleich bleibt.
Übersetzen Sie Feststellungen in Schutzmaßnahmen, Einschränkungen, Behebungen oder eine Entscheidung gegen den Einsatz. Beispiele sind die Verringerung von Werkzeugberechtigungen, eine Freigabepflicht für folgenreiche Aktionen, der Ausschluss nicht unterstützter Verwendungen oder eine verlässliche Ausweichlösung ohne KI.
Legen Sie Überwachungsschwellen und Reaktionsverfahren fest. Eine Kennzahl ohne verantwortliche Person oder Reaktionsregel ist nur Telemetrie. Dokumentieren Sie, welche Ereignisse eine erneute Bewertung auslösen, darunter Aktualisierungen des Lieferanten, geänderte Datenquellen, erweiterte Verwendungen und Vorfälle.
Ist eine Zertifizierung das Ziel, legen Sie die Grenze des AIMS fest, bevor Sie sich auf ein externes Audit vorbereiten. Der Geltungsbereich kann ein bestimmtes Produkt, eine Geschäftseinheit oder eine Reihe von Tätigkeiten im Lebenszyklus umfassen, sollte aber die einbezogenen Tätigkeiten und Schnittstellen klar beschreiben. Ein enger Geltungsbereich darf nicht als organisationsweite Bestätigung dargestellt werden.
Führen Sie eine Lückenanalyse anhand der Anforderungen an das Managementsystem und der anwendbaren Maßnahmen durch. Legen Sie Leitlinie, Ziele, Methoden der Risiko- und Folgenabschätzung, die dokumentierte Anwendbarkeit von Maßnahmen, Verantwortlichkeiten und betriebliche Verfahren fest. Erzeugen Sie dann Nachweise, dass diese Prozesse tatsächlich funktionieren.
Nützliche Aufzeichnungen sind abgeschlossene Bewertungen, Lieferantenbewertungen, Schulungsnachweise, Freigaben, Überwachungsprüfungen, Korrekturmaßnahmen, Feststellungen des internen Audits und Entscheidungen der Managementbewertung. Internes Audit und Managementbewertung sind getrennte Tätigkeiten: Das eine bewertet Konformität und Wirksamkeit; die andere unterstützt die Leitung bei der Bewertung und Steuerung des Managementsystems.
Ein unabhängiger Zertifizierungsprozess umfasst üblicherweise Stufen zur Bewertung der Bereitschaft und der Umsetzung. Stimmen Sie Geltungsbereich und Auditmodalitäten mit der Zertifizierungsstelle ab, statt die Zertifizierung als Einreichung von Unterlagen zu behandeln. Setzen Sie Überwachung, interne Überprüfung und Verbesserung auch nach der Zertifizierung fort.
Weder ein Zertifikat noch eine RMF-Bewertung ersetzt eine anwendbare Konformitätsbewertung nach der KI-Verordnung. Das Konformitätsbewertungsverfahren hängt vom System und den relevanten Bestimmungen ab; nicht jedes Hochrisiko-System erfordert dasselbe Verfahren unter Beteiligung Dritter. Anforderungen an Konformitätserklärung, Registrierung, Kennzeichnung und Meldungen müssen ebenfalls für die jeweilige Rolle und das jeweilige System geprüft werden.
Beispielhafte Annahmen: Ein Arbeitgeber in der EU kauft eine Anwendung, die Bewerbende für die Prüfung vor Vorstellungsgesprächen in eine Rangfolge bringt. Der Anbieter liefert die Anwendung, während der Arbeitgeber die Stellenkriterien konfiguriert und die Rangfolgen nutzt. Recruiterinnen und Recruiter treffen die endgültigen Einstellungsentscheidungen. Angenommen, die rechtliche Prüfung identifiziert eine Hochrisiko-Verwendung im Beschäftigungsbereich nach Anhang III und stuft den Arbeitgeber zunächst als Betreiber ein.
Das lässt sich nicht mit dem Satz „Ein Mensch trifft die endgültige Entscheidung“ erledigen. Eine Rangfolge kann erheblich beeinflussen, wer überhaupt berücksichtigt wird. Die Bewertung muss den tatsächlichen Ablauf untersuchen, einschließlich der Frage, ob Recruiter Bewerbende unterhalb eines Schwellenwerts routinemäßig ignorieren.
Die technisch verantwortliche Person dokumentiert Eingabefelder, die vom Lieferanten verfügbaren Informationen zur Rangfolgelogik, Anwendungsversion, Konfiguration, Nutzer und Exportziele. Der Einkauf fordert vom Lieferanten Betriebsanleitungen, Grenzen, relevante Evaluierungsnachweise, Änderungsmitteilungen und Unterstützung bei den Pflichten der Organisation an.
Die rechtliche Prüfung dokumentiert Annahmen zu Einstufung und Rolle, einschließlich der Frage, ob eine künftige Änderung oder ein Rebranding die Rolle verändern könnte. Die Datenschutzprüfung bewertet die Verarbeitung von Bewerberdaten gesondert. KI-Governance ersetzt keine datenschutzrechtliche Analyse.
Mithilfe der NIST-Funktionen Map und Measure evaluiert das Team repräsentative Rekrutierungsszenarien, das Verhalten bei fehlenden Daten und, soweit rechtlich zulässig und machbar, Leistungsunterschiede zwischen relevanten Gruppen. Es dokumentiert Unsicherheiten und Grenzen der Stichprobe, statt eine Fairnesskennzahl als Beweis dafür darzustellen, dass jede schädliche Verzerrung verschwunden ist.
Die menschliche Aufsicht umfasst Schulungen für Recruiter, sichtbar gemachte Grenzen, einen Weg zur Prüfung ausgeschlossener Bewerbungen und die Möglichkeit, die Rangfolge auszusetzen. Das Team testet, ob die Prüfenden die Ausgaben verstehen und sie ohne betriebliche Hindernisse übersteuern können.
Sicherheitsmaßnahmen beschränken den Zugriff auf Bewerberdaten und verhindern nicht freigegebene Exporte. Das Änderungsmanagement verlangt eine erneute Bewertung, wenn sich Rangfolgekriterien, Modelle oder Verarbeitungsregelungen beim Lieferanten ändern.
Die AIMS-Dokumentation zeigt, wie Bewertungen, Verantwortung, Lieferantenbewertung und Freigabeprozesse funktioniert haben. Die RMF-Dokumentation erläutert kontextbezogene Risiken, Tests, Behandlung und verbleibende Unsicherheit. Die rechtliche Dokumentation benennt anwendbare Betreiberpflichten, Fristen und offene Arbeiten.
Angenommen, der Lieferant hat keine ausreichenden Anleitungen für eine verlässliche Aufsicht bereitgestellt. Die Freigabedokumentation sollte diese Lücke, ihre verantwortliche Person und die Entscheidung zeigen, den Einsatz zu verschieben oder einzuschränken, und keinen grünen Status, der vom ISO-Zertifikat des Arbeitgebers übernommen wurde.
Priorisieren Sie zuerst anwendbare rechtliche Pflichten und inakzeptable betriebliche Risiken. Eine ISO-Zertifizierung kann parallel zur Behebung vorangetrieben werden, doch ein Auditziel darf dringende Maßnahmen nicht verdrängen.
Fehlen Teams einheitliche Verantwortlichkeiten und Prüfprozesse, bauen Sie die Grundlage des AIMS auf. Besteht Governance, sind die Systemevaluierungen aber schwach, nutzen Sie das RMF, um kontextbezogene Analysen und Tests zu verbessern. Verlangt ein Kunde eine Zertifizierung, klären Sie den erwarteten Geltungsbereich, bevor Sie budgetieren.
Vermeiden Sie allgemeingültige Annahmen zu Kosten oder Dauer. Der Aufwand hängt von der Zahl der Systeme, bestehender Governance, Evaluierungsbedarf, Transparenz der Lieferanten und Behebungsarbeit ab. Das RMF ist frei verfügbar, seine Umsetzung bindet aber dennoch Personalzeit; bei einer ISO-Zertifizierung kommen Kosten für den Zugang zur Norm und die externe Bewertung hinzu.
Weisen Sie den Arbeitsergebnissen nach der Freigabe Überprüfungsauslöser zu. Eine Modellaktualisierung des Lieferanten kann Evaluierungsergebnisse entwerten; eine neue Aktionsberechtigung kann das Bedrohungsmodell verändern; ein neuer Markt kann eine erneute rechtliche Bewertung erfordern. Bewahren Sie frühere Versionen und Entscheidungen auf, damit Prüfende nachvollziehen können, was zum jeweiligen Zeitpunkt freigegeben wurde.
Typische Fehler sind, Zuordnungen als Compliance zu behandeln, Richtlinien ohne Betriebsnachweise zu sammeln, Aussagen von Lieferanten ohne einsatzspezifische Analyse zu übernehmen und Restrisiken ohne entscheidende Person zu dokumentieren. Ein weiterer ist, die Modellqualität zu messen und dabei Anwendungsberechtigungen und menschliches Verhalten zu ignorieren.
Secani kann den Nachweisablauf unterstützen, indem es Anforderungen, Maßnahmen, Quellmaterial, Verantwortliche, Aufgaben und geprüfte Entscheidungen verbindet. Beginnen Sie mit einem festgelegten Geltungsbereich, verknüpfen Sie Nachweise mit dem, was sie stützen, und machen Sie fehlendes oder veraltetes Material zu zugewiesener Arbeit. Behandeln Sie KI-gestützte Vorschläge als Entwürfe: Ein Mensch sollte Zuordnungen und Schlussfolgerungen prüfen, wobei Quellen und Freigabebegründungen erhalten bleiben. So bleibt die Governance-Grundlage prüfbar, ohne technisches oder rechtliches Urteil zu ersetzen.
Ja, soweit ihre Umsetzung und ihre Nachweise den KI-Einsatz abdecken. Zugriffskontrolle, Reaktion auf Vorfälle und Lieferantenmanagement tragen oft dazu bei. Für sich genommen beantworten sie jedoch keine Fragen zu schädlicher Verzerrung, Zweckbestimmung oder wirksamer menschlicher Aufsicht.
Dokumentieren Sie die eingeschränkte Transparenz. Fordern Sie Nachweise an, die dem Anwendungsfall angemessen sind, evaluieren Sie die eingesetzte Anwendung und entscheiden Sie, ob vertragliche Zusicherungen, Einschränkungen oder alternative Lieferanten nötig sind. Fehlende Transparenz ist nicht automatisch akzeptabel, nur weil der Dienst kommerziell verfügbar ist.
Wählen Sie einen folgenreichen Anwendungsfall und stellen Sie dessen verantwortliche Person, Zweck, Rollenbewertung, Risikodokumentation, Schutzmaßnahmen, Tests und Freigabe zusammen. Prüfen Sie die Lücken über alle drei Instrumente hinweg. Diese abgegrenzte Übung zeigt, ob die Organisation vor einer Ausweitung bessere Governance, bessere technische Nachweise oder die Klärung offener rechtlicher Fragen braucht.
Secani verbindet Scopes, Nachweise, Aufgaben und KI-Agenten in einem gemeinsamen Arbeitskontext.
Ein aktueller, rollenbasierter Ansatz zur Vorbereitung auf die KI-Verordnung, mit dem aktualisierten Zeitplan der Kommission, der Hochrisiko-Bewertung und einer verantwortlichen Governance.
Ein Quellenlink macht eine KI-Bewertung noch nicht belastbar. Entscheidend ist, wie Anforderung, Nachweis und Urteil zusammenhängen.
AI-native Compliance bedeutet: bestehende Evidenz importieren, Kontext verstehen, Lücken erkennen, Ergebnisse prüfen und Menschen dort entscheiden lassen, wo Urteil zählt.