AI v GRC: citovať neznamená overiť

AI agent prečíta bezpečnostnú politiku, nájde relevantný odsek a označí požiadavku za splnenú. Jeho vysvetlenie znie vierohodne a obsahuje odkaz na zdroj. Aká zmena požiadavky alebo dôkazu by však tento verdikt zmenila?

Najnovší výskum v oblasti riadenia, rizík a súladu (GRC) robí túto otázku nevyhnutnou. Model môže dať správnu odpoveď zo zlého dôvodu, citovať skutočný zdroj, ktorý sa však týka iného systému, alebo zameniť napísanú politiku za účinnú kontrolu. V Secani to chápeme ako výzvu pre návrh produktu: prepojenie medzi požiadavkou, pozorovaním a rozhodnutím musí byť otvorené kontrole.

Overte, či verdikt závisí od pravidla

Preprint Verdict Without the Rule ponecháva prípad nezmenený a pritom rozhodujúce pravidlo odstraňuje, nahrádza alebo neguje. Pri piatich lokálne spustených modeloch a 20 doménach zmenilo odstránenie pravidla verdikt v priemere len v 5,3 percenta prípadov. Nezmenený verdikt nie je automaticky chybný: rôzne pravidlá môžu viesť k rovnakému výsledku. Samotná správna odpoveď však nedokáže preukázať, že systém použil dodané pravidlo.

To si vyžaduje preskúmané dvojice prípadov, nie iba benchmarky s jedinou odpoveďou. Ak sa požiadavka na revíziu prístupov zmení zo štvrťročnej na mesačnú, zatiaľ čo dostupné logy zostanú rovnaké, posúdenie sa možno bude musieť zmeniť. Preformulovanie tej istej požiadavky bez zmeny jej významu by malo posúdenie ponechať stabilné. Záleží na oboch reakciách.

Oddeľte pokrytie v politike od prevádzkového dôkazu

PACE oddeľuje vyhľadanie relevantných pasáží politiky od posúdenia, či pokrývajú bezpečnostnú požiadavku úplne, čiastočne alebo vôbec. Jeho uvádzané výsledky sa týkajú pokrytia v dokumentácii, nie toho, či opísané opatrenia fungujú v praxi. Politika môže vyžadovať viacfaktorovú autentifikáciu pre privilegovaný prístup bez toho, aby preukázala, ktoré účty sú technicky chránené alebo aké výnimky existujú.

ReCon dokumentuje ešte jednoduchšie zlyhanie: v niektorých príkladoch modely považujú text požiadavky zahrnutý v prompte za dôkaz od spoločnosti. Požiadavky a záznamy spoločnosti preto potrebujú v dátovom modeli odlišné identity. Citácia by mala odkazovať na pasáž, ktorá tvrdenie skutočne podporuje.

Toto rozlíšenie robí zistenia použiteľnými. „Politika existuje, ale pre tri privilegované účty chýba technický dôkaz“ hovorí konzultantovi, čo má preveriť. „Čiastočne v súlade“ nehovorí nič.

Kontrolujte vzťah, nielen zdroj

Pipeline v práci From Legacy Documentation to OSCAL extrahuje aktíva z opisov systémov a pomocou štruktúrovaných informácií o hrozbách vytvára artefakty compliance. Jej analýza chýb ukazuje, prečo môže skutočný zdroj aj tak podporiť nesprávny záver: ak sa aktívum extrahuje nesprávne, neskoršie dopyty môžu vrátiť skutočné zraniteľnosti iného produktu.

Ľudská kontrola má najväčšiu hodnotu práve pri takýchto väzbách s veľkým dosahom: verzia produktu, hranica systému, lokalita alebo priradenie kontroly, od ktorých závisí mnoho neskorších zistení. Extrahovaný návrh by mal zostať odlíšiteľný od potvrdenej položky inventára. Keď sa opraví základná väzba, odvodené posúdenia musia byť dohľadateľné.

Dajte dôkazom rozsah a časové okno

Compliance-as-Code for AI-Driven Identity Systems navrhuje „dôkazové zmluvy“ (evidence contracts), ktoré určujú požadované typy dôkazov, mapovania, polia, vydania a obdobia pozorovania. Jej prototyp používa syntetické procesy správy identít, takže štúdia je architektonickým príkladom, nie širokou validáciou v podnikovom prostredí.

Testovacia správa z marca automaticky nepreukazuje, že kontrola po septembrovej zmene systému stále funguje. Export konfigurácie jednej dcérskej spoločnosti nepreukazuje stav inej. Dôkaz potrebuje predmet, pôvod, obdobie a tvrdenie, ktoré podporuje. Ak integrácia prestane dodávať aktuálne dáta, súčasný stav je nepreukázaný; to je niečo iné než preukázané zlyhanie kontroly.

Urobte dohodnuté kontroly opakovateľnými

Ontological Knowledge Blocks opisuje štruktúrovanú medzireprezentáciu povinností definovaných odborníkmi, ktorá sa kompiluje do spustiteľných validačných pravidiel. Normatívna interpretácia zostáva zodpovednosťou človeka. Samostatný preprint o posudzovaní rizík mapuje pozorovateľné technické artefakty na ordinálne výsledky pomocou verzovaných pravidiel a niektoré vlastnosti konzistentnosti overuje formálne. Žiadna z týchto štúdií nepreukazuje univerzálny compliance engine ani empiricky kalibrované pravdepodobnosti incidentov.

Užitočným princípom je odlišovať interpretáciu od opakovateľného vykonávania. Agent môže navrhnúť kritériá na základe politiky. Keď ich odborníci schvália, kontroly ako chýbajúce pole, uplynuté obdobie pozorovania alebo prekročená hraničná hodnota by nemali pri každom behu vyžadovať novú interpretáciu modelom. Verdikt by mal zaznamenať verziu požiadavky, verzie dôkazov a použitú logiku.

Otvorte rozhodnutia znova, keď sa zmenia ich predpoklady

Priebežný súlad neznamená požiadavku znovu otvárať každú kontrolu po každej úprave dokumentu. Vyžaduje vedieť, ktoré závery závisia od informácií, ktoré sa zmenili. Opravený nadpis nemusí mať žiadny vplyv. Nová výnimka pre privilegovaný prístup môže ovplyvniť viacero frameworkov.

Historické rozhodnutie by malo zostať zachované: v danom čase mohlo byť opodstatnené. Nemalo by však po zmene svojich predpokladov donekonečna pretrvávať ako aktuálne tvrdenie. Explicitné, verzované vzťahy umožňujú konzultantom sústrediť sa na posúdenia, ktoré si skutočne vyžadujú nový pohľad.

Tieto práce nepreukazujú, že GRC môže byť úplne autonómne. Viaceré sú preprintmi alebo hodnoteniami úzko zameraných prototypov. Poukazujú však na užitočný štandard pre Secani: agenti by mali pripravovať informácie, navrhovať mapovania, vysvetľovať medzery a pomáhať konzultantom dospieť k obhájiteľným rozhodnutiam rýchlejšie.

Zelený stav je výstup. Produktom je dohľadateľné prepojenie medzi požiadavkou, realitou a rozhodnutím.