
Egy MI-ügynök elolvas egy biztonsági szabályzatot, talál egy releváns bekezdést, és egy követelményt teljesítettnek jelöl. Magyarázata hihetően hangzik, és forráshivatkozást is tartalmaz. De a követelmény vagy a bizonyíték milyen változása változtatná meg ezt az ítéletet?
Az irányítás, kockázatkezelés és megfelelőség (GRC) területén végzett legújabb kutatások megkerülhetetlenné teszik ezt a kérdést. Egy modell jó választ adhat rossz okból, hivatkozhat egy valódi forrásra, amely rossz rendszerhez tartozik, vagy összekeverheti az írásos szabályzatot egy hatékony kontrollal. A Secaninál ezt terméktervezési kihívásnak tekintjük: a követelmény, a megfigyelés és a döntés közötti kapcsolatnak átvizsgálhatónak kell lennie.
A Verdict Without the Rule című preprint egy esetet változatlanul hagy, miközben törli, lecseréli vagy tagadja az irányadó szabályt. Öt helyileg futtatott modell és 20 terület vizsgálatában a szabály törlése az esetek átlagosan mindössze 5,3 százalékában változtatta meg az ítéletet. Egy változatlan ítélet nem automatikusan hibás: különböző szabályok ugyanahhoz az eredményhez vezethetnek. Egy helyes válasz azonban önmagában nem bizonyítja, hogy a rendszer a megadott szabályt használta.
Ehhez felülvizsgált esetpárokra van szükség, nem csak egyválaszos benchmarkokra. Ha egy hozzáférés-felülvizsgálati követelmény negyedévesről havira változik, miközben a rendelkezésre álló naplók változatlanok, az értékelésnek is változnia kellhet. Ha ugyanazt a követelményt a jelentés megváltoztatása nélkül fogalmazzák át, az értékelésnek stabilnak kell maradnia. Mindkét reakció számít.
A PACE szétválasztja a releváns szabályzati részek visszakeresését annak értékelésétől, hogy azok teljesen, részben vagy egyáltalán nem fedik-e le egy biztonsági követelményt. Közölt eredményei a dokumentáció lefedettségére vonatkoznak, nem arra, hogy a leírt intézkedések a gyakorlatban működnek-e. Egy szabályzat előírhatja a többtényezős hitelesítést a kiemelt hozzáférésekhez anélkül, hogy bizonyítaná, mely fiókok védettek műszakilag, vagy milyen kivételek léteznek.
A ReCon egy még egyszerűbb hibát dokumentál: egyes példákban a modellek a promptban szereplő követelményszöveget úgy kezelik, mintha vállalati bizonyíték lenne. A követelményeknek és a vállalati rekordoknak ezért külön identitással kell rendelkezniük az adatmodellben. Egy hivatkozásnak arra a szövegrészre kell mutatnia, amely ténylegesen alátámasztja az állítást.
Ez a megkülönböztetés teszi a megállapításokat cselekvésre alkalmassá. Az, hogy „a szabályzat létezik, de három kiemelt jogosultságú fióknál hiányzik a műszaki bizonyíték”, megmondja a tanácsadónak, mit kell megvizsgálnia. A „részben megfelelő” nem.
A From Legacy Documentation to OSCAL című munkában bemutatott feldolgozási lánc rendszerleírásokból nyer ki eszközöket, és strukturált fenyegetésfelderítési adatokat használ megfelelőségi dokumentumok előállításához. Hibaelemzése megmutatja, miért támaszthat alá egy valódi forrás is hibás következtetést: ha egy eszközt hibásan nyernek ki, a későbbi lekérdezések egy másik termék valódi sebezhetőségeit adhatják vissza.
Az emberi felülvizsgálat az ilyen nagy hatású kapcsolatoknál a legértékesebb: egy termékverziónál, rendszerhatárnál, telephelynél vagy kontroll-hozzárendelésnél, amelytől sok későbbi megállapítás függ. Egy kinyert javaslatnak megkülönböztethetőnek kell maradnia egy megerősített nyilvántartási tételtől. Ha egy alapvető kapcsolatot kijavítanak, a belőle származtatott értékeléseknek nyomon követhetőnek kell lenniük.
A Compliance-as-Code for AI-Driven Identity Systems „bizonyítéki szerződéseket” javasol, amelyek meghatározzák az előírt bizonyítéktípusokat, megfeleltetéseket, mezőket, kiadásokat és megfigyelési időszakokat. Prototípusa szintetikus identitáskezelési munkafolyamatokat használ, ezért a tanulmány architekturális példa, nem széles körű vállalati validáció.
Egy márciusi tesztjelentés nem bizonyítja automatikusan, hogy egy kontroll egy szeptemberi rendszerváltozás után is működik. Egy leányvállalat konfigurációs exportja nem igazolja egy másik leányvállalat állapotát. A bizonyítéknak alanyra, eredetre, időszakra és alátámasztott állításra van szüksége. Ha egy integráció nem szolgáltat többé aktuális adatokat, a jelenlegi állapot nem bizonyított; ez különbözik egy kimutatott kontrollhibától.
Az Ontological Knowledge Blocks a szakértők által meghatározott kötelezettségek strukturált köztes ábrázolását írja le, amelyet végrehajtható validálási szabályokká fordítanak. A normatív értelmezés emberi felelősség marad. Egy külön kockázatértékelési preprint megfigyelhető műszaki elemeket ordinális kimenetekhez rendel verziózott szabályok segítségével, és bizonyos konzisztencia-tulajdonságokat formálisan ellenőriz. Egyik tanulmány sem igazol általános megfelelőségi motort vagy empirikusan kalibrált incidensvalószínűségeket.
A hasznos elv az értelmezés és a megismételhető végrehajtás megkülönböztetése. Egy ügynök javasolhat kritériumokat egy szabályzat alapján. Amint a szakértők jóváhagyják őket, az olyan ellenőrzéseknek, mint egy hiányzó mező, egy lejárt megfigyelési időszak vagy egy túllépett küszöbérték, nem kellene minden futtatáskor új modellértelmezést igényelniük. Egy ítéletnek rögzítenie kell a követelmény verzióját, a bizonyítékok verzióit és az alkalmazott logikát.
A folyamatos megfelelés nem azt követeli meg, hogy minden dokumentummódosítás után minden kontrollt újra megnyissanak. Azt követeli meg, hogy tudjuk, mely következtetések függenek a megváltozott információtól. Egy kijavított címsornak nem feltétlenül van hatása. A kiemelt hozzáférésre vonatkozó új kivétel viszont több keretrendszert is érinthet.
A korábbi döntésnek érintetlennek kell maradnia: lehet, hogy annak idején indokolt volt. De nem élhet tovább a végtelenségig aktuális állításként, miután előfeltevései megváltoztak. A kifejezett, verziózott kapcsolatok lehetővé teszik, hogy a tanácsadók azokra az értékelésekre összpontosítsanak, amelyek valóban újabb vizsgálatot igényelnek.
Ezek a tanulmányok nem bizonyítják, hogy a GRC teljesen autonómmá tehető. Közülük több preprint, vagy szűk prototípusok értékelése. Ugyanakkor hasznos mércét jelölnek ki a Secani számára: az ügynököknek elő kell készíteniük az információkat, megfeleltetéseket kell javasolniuk, meg kell magyarázniuk a hiányosságokat, és segíteniük kell a tanácsadókat abban, hogy gyorsabban jussanak védhető döntésekre.
Egy zöld státusz kimenet. A követelmény, a valóság és a döntés közötti nyomon követhető kapcsolat maga a termék.
A Secani egyetlen közös munkaterületen köti össze a hatóköröket, a bizonyítékokat, a feladatokat és az MI-ügynököket.
Az MI-ágensek akkor válnak hasznossá, ha feltárják forrásaikat, tiszteletben tartják a határokat, és nem rejtik el a döntéseket.
Az MI-natív megfelelés azt jelenti, hogy a meglévő bizonyítékokat importáljuk, megértjük a kontextust, feltárjuk a hiányosságokat, átvizsgáljuk a kimeneteket, és ott, ahol ítélőképességre van szükség, az ember marad irányításban.
Naprakész, szerepköralapú megközelítés az MI-rendeletre való felkészüléshez, beleértve a Bizottság frissített ütemtervét, a nagy kockázatú besorolás értékelését és az elszámoltatható irányítást.