AI w GRC: cytowanie to nie weryfikacja

Agent AI czyta politykę bezpieczeństwa, znajduje odpowiedni akapit i oznacza wymaganie jako spełnione. Jego wyjaśnienie brzmi wiarygodnie i zawiera link do źródła. Ale jaka zmiana wymagania lub dowodu zmieniłaby ten werdykt?

Najnowsze badania nad zarządzaniem, ryzykiem i zgodnością (GRC) sprawiają, że tego pytania nie da się uniknąć. Model może udzielić właściwej odpowiedzi z niewłaściwego powodu, zacytować prawdziwe źródło dotyczące niewłaściwego systemu albo pomylić spisaną politykę ze skuteczną kontrolą. W Secani traktujemy to jako wyzwanie projektowe dla produktu: powiązanie między wymaganiem, obserwacją i decyzją musi być otwarte na weryfikację.

Sprawdź, czy werdykt zależy od reguły

Preprint Verdict Without the Rule utrzymuje niezmieniony przypadek, usuwając, zastępując lub negując regułę, która go rozstrzyga. W pięciu modelach uruchamianych lokalnie i 20 dziedzinach usunięcie reguły zmieniło werdykt średnio tylko w 5,3 procent przypadków. Niezmieniony werdykt nie jest automatycznie błędny: różne reguły mogą prowadzić do tego samego wyniku. Sama poprawna odpowiedź nie dowodzi jednak, że system skorzystał z dostarczonej reguły.

Wymaga to zweryfikowanych par przypadków, a nie tylko benchmarków opartych na pojedynczych odpowiedziach. Jeśli wymaganie dotyczące przeglądu uprawnień zmieni się z kwartalnego na miesięczne, a dostępne logi pozostaną takie same, ocena może wymagać zmiany. Przeformułowanie tego samego wymagania bez zmiany jego znaczenia powinno pozostawić ocenę bez zmian. Obie reakcje mają znaczenie.

Oddziel pokrycie w politykach od dowodu operacyjnego

PACE oddziela wyszukiwanie odpowiednich fragmentów polityk od oceny, czy pokrywają one wymaganie bezpieczeństwa w pełni, częściowo czy wcale. Raportowane wyniki dotyczą pokrycia w dokumentacji, a nie tego, czy opisane środki działają w praktyce. Polityka może wymagać uwierzytelniania wieloskładnikowego dla dostępu uprzywilejowanego, nie dowodząc, które konta są technicznie chronione ani jakie istnieją wyjątki.

ReCon dokumentuje jeszcze prostszy błąd: w niektórych przykładach modele traktują tekst wymagania zawarty w prompcie tak, jakby był dowodem pochodzącym z firmy. Wymagania i zapisy firmowe potrzebują zatem odrębnych tożsamości w modelu danych. Cytat powinien wskazywać fragment, który faktycznie wspiera dane twierdzenie.

To rozróżnienie sprawia, że ustalenia nadają się do działania. „Polityka istnieje, ale brakuje dowodów technicznych dla trzech kont uprzywilejowanych” mówi konsultantowi, co zbadać. „Częściowo zgodne” – nie.

Sprawdzaj relację, a nie tylko źródło

Potok opisany w From Legacy Documentation to OSCAL wyodrębnia aktywa z opisów systemów i wykorzystuje ustrukturyzowane informacje o zagrożeniach do tworzenia artefaktów compliance. Analiza błędów pokazuje, dlaczego prawdziwe źródło może nadal wspierać niewłaściwy wniosek: jeśli aktywo zostanie wyodrębnione nieprawidłowo, późniejsze zapytania mogą zwracać rzeczywiste podatności innego produktu.

Przegląd przez człowieka jest najcenniejszy właśnie przy takich powiązaniach o dużym wpływie: wersji produktu, granicy systemu, lokalizacji lub przypisaniu kontroli, od których zależy wiele późniejszych ustaleń. Wyodrębniona sugestia powinna pozostać odróżnialna od potwierdzonej pozycji wykazu. Gdy podstawowe powiązanie zostanie poprawione, oceny pochodne muszą być możliwe do prześledzenia.

Nadaj dowodom zakres i okno czasowe

Praca Compliance-as-Code for AI-Driven Identity Systems proponuje „kontrakty dowodowe”, które określają wymagane typy dowodów, mapowania, pola, wydania i okresy obserwacji. Jej prototyp wykorzystuje syntetyczne procesy zarządzania tożsamością, dlatego badanie jest przykładem architektonicznym, a nie szeroką walidacją w warunkach przedsiębiorstwa.

Raport z testu z marca nie dowodzi automatycznie, że kontrola nadal działa po zmianie systemu we wrześniu. Eksport konfiguracji jednej spółki zależnej nie przesądza o stanie innej. Dowód potrzebuje podmiotu, pochodzenia, okresu i wspieranego twierdzenia. Jeśli integracja przestaje dostarczać aktualne dane, bieżący stan jest nieudowodniony; to coś innego niż wykazana awaria kontroli.

Spraw, by uzgodnione kontrole były powtarzalne

Praca Ontological Knowledge Blocks opisuje ustrukturyzowaną reprezentację pośrednią obowiązków zdefiniowanych przez ekspertów, kompilowaną do wykonywalnych reguł walidacji. Interpretacja normatywna pozostaje odpowiedzialnością człowieka. Odrębny preprint dotyczący oceny ryzyka mapuje obserwowalne artefakty techniczne na wyniki porządkowe za pomocą wersjonowanych reguł i formalnie sprawdza niektóre właściwości spójności. Żadne z tych badań nie ustanawia uniwersalnego silnika zgodności ani empirycznie skalibrowanych prawdopodobieństw incydentów.

Użyteczną zasadą jest oddzielenie interpretacji od powtarzalnego wykonania. Agent może zaproponować kryteria na podstawie polityki. Gdy eksperci je zatwierdzą, kontrole takie jak brakujące pole, wygasły okres obserwacji czy przekroczony próg nie powinny wymagać nowej interpretacji przez model przy każdym uruchomieniu. Werdykt powinien zapisywać wersję wymagania, wersje dowodów i zastosowaną logikę.

Otwieraj decyzje ponownie, gdy zmieniają się ich przesłanki

Ciągła zgodność nie oznacza obowiązku ponownego otwierania każdej kontroli po każdej edycji dokumentu. Wymaga wiedzy o tym, które wnioski zależą od informacji, która się zmieniła. Poprawiony nagłówek może nie mieć żadnego wpływu. Nowy wyjątek dotyczący dostępu uprzywilejowanego może wpływać na kilka frameworków.

Historyczna decyzja powinna pozostać nienaruszona: w swoim czasie mogła być uzasadniona. Nie powinna jednak bez końca funkcjonować jako bieżące twierdzenie po zmianie jej przesłanek. Jawne, wersjonowane relacje pozwalają konsultantom skupić się na ocenach, które rzeczywiście wymagają ponownego przyjrzenia się.

Te prace nie dowodzą, że GRC może być w pełni autonomiczne. Kilka z nich to preprinty lub ewaluacje wąskich prototypów. Wskazują jednak użyteczny standard dla Secani: agenci powinni przygotowywać informacje, proponować mapowania, wyjaśniać luki i pomagać konsultantom szybciej dochodzić do decyzji, które da się obronić.

Zielony status jest wynikiem. Produktem jest identyfikowalne powiązanie między wymaganiem, rzeczywistością i decyzją.