AI in GRC: citeren is niet toetsen

Een AI-agent leest een beveiligingsbeleid, vindt een relevante alinea en markeert een eis als voldaan. De uitleg klinkt aannemelijk en bevat een bronlink. Maar welke wijziging in de eis of het bewijs zou dat oordeel veranderen?

Recent onderzoek naar governance, risk en compliance (GRC) maakt die vraag onontkoombaar. Een model kan het juiste antwoord geven om de verkeerde reden, een echte bron aanhalen die bij het verkeerde systeem hoort, of een geschreven beleid verwarren met een effectieve control. Bij Secani zien we dit als een uitdaging voor het productontwerp: de verbinding tussen eis, waarneming en beslissing moet controleerbaar zijn.

Toets of het oordeel van de regel afhangt

De preprint Verdict Without the Rule houdt een casus constant terwijl de bepalende regel wordt verwijderd, vervangen of omgekeerd. Over vijf lokaal gedraaide modellen en 20 domeinen veranderde het verwijderen van de regel het oordeel in gemiddeld slechts 5,3 procent van de gevallen. Een ongewijzigd oordeel is niet automatisch fout: verschillende regels kunnen tot dezelfde uitkomst leiden. Maar een juist antwoord alleen kan niet aantonen dat het systeem de aangeleverde regel heeft gebruikt.

Dat vraagt om gereviewde paren van casussen, niet alleen om benchmarks met één antwoord. Als een eis voor toegangsreviews verandert van elk kwartaal naar elke maand terwijl de beschikbare logs gelijk blijven, moet de beoordeling mogelijk veranderen. Een herformulering van dezelfde eis zonder betekenisverandering moet de beoordeling stabiel laten. Beide reacties doen ertoe.

Scheid beleidsdekking van operationeel bewijs

PACE scheidt het ophalen van relevante beleidspassages van de beoordeling of die een beveiligingseis volledig, gedeeltelijk of helemaal niet afdekken. De gerapporteerde resultaten betreffen de dekking van documentatie, niet de vraag of de beschreven maatregelen in de praktijk werken. Een beleid kan meerfactorauthenticatie voor geprivilegieerde toegang eisen zonder te bewijzen welke accounts technisch beschermd zijn of welke uitzonderingen er bestaan.

ReCon documenteert een nog eenvoudiger fout: in sommige voorbeelden behandelen modellen de eistekst in de prompt alsof het bewijs van het bedrijf is. Eisen en bedrijfsregistraties hebben daarom afzonderlijke identiteiten in het datamodel nodig. Een bronvermelding moet verwijzen naar de passage die de bewering werkelijk ondersteunt.

Dit onderscheid maakt bevindingen bruikbaar. ‘Het beleid bestaat, maar voor drie geprivilegieerde accounts ontbreekt technisch bewijs’ vertelt een consultant wat hij moet onderzoeken. ‘Gedeeltelijk compliant’ doet dat niet.

Controleer de relatie, niet alleen de bron

De pipeline in From Legacy Documentation to OSCAL haalt assets uit systeembeschrijvingen en gebruikt gestructureerde threat intelligence om compliance-artefacten te maken. De foutanalyse laat zien waarom een echte bron toch een verkeerde conclusie kan ondersteunen: als een asset verkeerd wordt geëxtraheerd, kunnen latere zoekopdrachten echte kwetsbaarheden voor een ander product opleveren.

Menselijke review is het waardevolst bij zulke koppelingen met grote impact: een productversie, systeemgrens, locatie of controltoewijzing waarvan veel latere bevindingen afhangen. Een geëxtraheerde suggestie moet onderscheidbaar blijven van een bevestigd inventarisitem. Wanneer een fundamentele koppeling wordt gecorrigeerd, moeten de daarvan afgeleide beoordelingen herleidbaar zijn.

Geef bewijs een scope en een tijdvenster

Compliance-as-Code for AI-Driven Identity Systems stelt ‘bewijscontracten’ voor die de vereiste bewijstypen, mappings, velden, releases en observatieperioden vastleggen. Het prototype gebruikt synthetische identiteitsworkflows, dus de studie is een architectuurvoorbeeld en geen brede validatie in ondernemingen.

Een testrapport uit maart bewijst niet automatisch dat een control na een systeemwijziging in september nog werkt. Een configuratie-export voor één dochteronderneming zegt niets over de toestand van een andere. Bewijs heeft een subject, een herkomst, een periode en een ondersteunde bewering nodig. Als een integratie geen actuele gegevens meer levert, is de huidige toestand onbewezen; dat is iets anders dan een aangetoond falen van de control.

Maak afgesproken controles herhaalbaar

Ontological Knowledge Blocks beschrijft een gestructureerde tussenrepresentatie van door experts gedefinieerde verplichtingen, die wordt gecompileerd tot uitvoerbare validatieregels. De normatieve interpretatie blijft een menselijke verantwoordelijkheid. Een afzonderlijke preprint over risicobeoordeling koppelt waarneembare technische artefacten aan ordinale uitkomsten met geversioneerde regels en controleert sommige consistentie-eigenschappen formeel. Geen van beide studies levert een universele compliance-engine of empirisch gekalibreerde incidentkansen op.

Het nuttige principe is om interpretatie te onderscheiden van herhaalbare uitvoering. Een agent kan criteria uit een beleid voorstellen. Zodra experts ze hebben goedgekeurd, mogen controles zoals een ontbrekend veld, een verlopen observatieperiode of een overschreden drempel niet bij elke run een nieuwe interpretatie door een model nodig hebben. Een oordeel moet de versie van de eis, de versies van het bewijs en de toegepaste logica vastleggen.

Heropen beslissingen wanneer hun premissen veranderen

Continue compliance betekent niet dat elke control na elke documentwijziging opnieuw moet worden geopend. Het vereist dat u weet welke conclusies afhangen van de informatie die is veranderd. Een gecorrigeerde kop heeft misschien geen effect. Een nieuwe uitzondering voor geprivilegieerde toegang kan meerdere frameworks raken.

De historische beslissing moet intact blijven: zij kan op dat moment gerechtvaardigd zijn geweest. Maar zij mag niet onbeperkt blijven voortbestaan als actuele bewering nadat haar premissen zijn veranderd. Expliciete, geversioneerde relaties stellen consultants in staat zich te richten op beoordelingen die werkelijk opnieuw bekeken moeten worden.

Deze publicaties bewijzen niet dat GRC volledig autonoom kan worden. Verschillende ervan zijn preprints of evaluaties van smalle prototypes. Ze wijzen wel op een bruikbare standaard voor Secani: agents moeten informatie voorbereiden, mappings voorstellen, lacunes uitleggen en consultants helpen sneller tot verdedigbare beslissingen te komen.

Een groene status is een uitkomst. De herleidbare verbinding tussen eis, werkelijkheid en beslissing is het product.