DI agentų valdymas

DI turi parengti darbą, o ne pakeisti atskaitomybę

Atitikties darbas apima tyrimą, vertinimą, dokumentavimą ir koordinavimą. Didelę jo dalį gali parengti DI agentai: išgauti įrodymus, nustatyti neišspręstus klausimus, apibendrinti reikalavimus ir parengti pasiūlymų juodraščius. Profesinė atskaitomybė lieka komandai.

Inžinerinis skirtumas yra tas, ar sistema tik generuoja tekstą, ar ji taip pat gali iškviesti įrankius, keisti įrašus ir paleisti tolesnius darbo procesus. Klaidingą santrauką reikia pataisyti. Klaidingas veiksmas gali atskleisti įrodymus, pakeisti leidimus arba išplatinti nepagrįstą išvadą apie kontrolės priemonę.

Todėl kiekvienam DI padedamam darbo procesui reikia aiškių ribų: ką agentas gali pasiūlyti, ką jis gali pakeisti ir kuriems žingsniams reikia patvirtinimo? Šias ribas užtikrinkite leidimais ir darbo proceso kontrolės priemonėmis, o ne vien instrukcijomis užklausoje. Pasiūlymus laikykite aiškiai atskirtus nuo patvirtintų sprendimų.

Toliau pateiktos kontrolės priemonės yra praktinės rekomendacijos. Jų taikymas priklauso nuo agento paskirties, duomenų, įgaliojimų ir veikimo aplinkos.

Nustatykite valdymo kontekstą nepainiodami sistemų

ISO/IEC 42001 nustato DI valdymo sistemos reikalavimus. NIST DI rizikos valdymo sistema pateikia savanoriškas gaires, kaip valdyti, susieti, matuoti ir tvarkyti DI riziką. Nė viena iš jų automatiškai neužtikrina atitikties ES dirbtinio intelekto aktui.

Klasifikavimas pagal Dirbtinio intelekto aktą priklauso nuo naudojimo atvejo ir organizacijos vaidmens. Agentas, naudojamas įrodymams apibendrinti, neturi tokių pačių pasekmių kaip sistema, naudojama priimant sprendimus dėl įdarbinimo. Užuot kiekvieną agentą laikę didelės rizikos sistema ar manę, kad yra vienas visuotinis įgyvendinimo terminas, pasitikrinkite dabartinę Europos Komisijos apžvalgą.

Vertinimo tikslais sutelkite dėmesį į įrodomą kontrolę: paaiškinkite sistemą, parodykite jos ribas ir pateikite įrašus, rodančius, kad peržiūra ir stebėsena iš tikrųjų vyko.

Inventorizuokite agentus ir apibrėžkite jų veikimo ribas

Įtraukite agentus, įdiegtus SaaS produktuose, vidiniuose scenarijuose ir padalinių darbo procesuose, o ne tik centralizuotai įdiegtas programas. Palyginkite pirkimų įrašus, paslaugų tapatybes, patvirtintas integracijas ir komandų pokalbius, kad rastumėte automatizavimą, kurio trūksta inventoriuje.

Kiekvienam agentui užfiksuokite jo diegimo vietą, modelį ir tiekėją, prijungtas sistemas, verslo paskirtį ir gyvavimo ciklo būseną. Nurodykite atskaitingą savininką, techninį prižiūrėtoją ir peržiūrėtoją. Mažoje komandoje šie vaidmenys gali sutapti, tačiau atsakomybė turėtų likti aiški.

Tada aprašykite veikimo ribas patikrinamais terminais:

• Užduotis: išgauti ištraukas, susijusias su pasirinktomis kontrolės priemonėmis, o ne nustatyti bendrą atitiktį.
• Duomenys: skaityti patvirtintą įrodymų rinkinį, o ne visus organizacijos dokumentus.
• Rezultatas: sukurti vertinimo juodraštį su nuorodomis į šaltinius ir atvirais klausimais.
• Veiksmai: išsaugoti juodraščius, bet niekada netvirtinti kontrolės priemonių ir nesiųsti įrodymų išorėn.
• Eskalavimas: sustoti ir prašyti peržiūros, kai šaltiniai prieštarauja vienas kitam arba trūksta reikiamų įrodymų.

Pasikartojantis, aiškiai apibrėžtas darbas paprastai yra stipriausias atspirties taškas. Dokumentų duomenų išgavimas, spragų analizė, kontrolės priemonių išankstinis užpildymas, pakeitimų apibendrinimas ir audito klausimų rengimas duoda rezultatus, kuriuos peržiūrėtojai gali tiesiogiai patikrinti.

Saugumo komandos agentus taip pat gali naudoti įspėjimams papildyti, incidentų laiko juostoms atkurti, pažeidžiamumų prioritetams nustatyti, kodui peržiūrėti ar neįprastiems mašininių tapatybių leidimams pažymėti. Pradėkite nuo analizės ir rekomendacijų; rašymo prieigos prie gamybinės aplinkos suteikimas sukuria kitokį rizikos profilį.

Užtikrinkite leidimus už modelio ribų

Kiekvienam įdiegtam agentui suteikite atskiriamą paslaugos tapatybę ar lygiavertę vykdymo tapatybę. Venkite bendrų administratoriaus prisijungimo duomenų. Prieigą ribokite pagal užduotį, aplinką, duomenų rinkinį ir leidžiamą operaciją; peržiūrėkite tiek tiesioginius leidimus, tiek įgaliojimus, paveldėtus per prijungtus įrankius.

Agentas, turintis tik skaitymo teises, vis tiek gali atskleisti informaciją per savo rezultatą. Ribokite ne tik įvestis, bet ir paskirties vietas. Kur praktiška, naudokite trumpalaikius prisijungimo duomenis ir neleiskite slaptiems duomenims patekti į užklausas, gautus dokumentus ir žurnalus.

Įrankių sąsajos turėtų suteikti siauras operacijas su patikrintais parametrais. Įrodymų juodraščius rengiančiam agentui reikia tokios operacijos kaip „sukurti juodraštį“, o ne neribotos duomenų bazės ar komandinės eilutės sąsajos. Kiekvieno iškvietimo autorizaciją tikrinkite serverio pusėje. Modelio pateiktas savo įgaliojimų aprašymas nėra prieigos kontrolės sprendimas.

Nustatykite įrankių iškvietimų, pakartojimų, trukmės ir paketo dydžio vykdymo ribas. Jos sumažina ciklų ir atsitiktinių masinių pakeitimų poveikį. Kur leidžiama rašyti, kai įmanoma, naudokite idempotentines operacijas ir užfiksuokite pakankamai būsenos, kad būtų galima atkurti.

Dažna klaida yra patvirtinti agento paskirtį, bet palikti jo integracijos paskyrai plačias privilegijas. Testuokite faktinius prisijungimo duomenis ir įrankių kelią, o ne vien numatytą konfigūraciją.

Padarykite šaltinius patikrinamus ir laikykite juos nepatikima įvestimi

Atitikties darbui neužtenka įtikinamai skambančio atsakymo. Peržiūrėtojai turi matyti, kurie failai buvo perskaityti, kurios ištraukos pagrindžia pasiūlymą ir kurios prielaidos lieka neišspręstos.

Kiekviena esminė išvada turėtų turėti nuorodą į šaltinį su dokumento tapatybe, versija ar gavimo laiko žyma ir atitinkama vieta. Atskirkite šaltinio faktus nuo modelio interpretacijos. Trūkstamą informaciją aiškiai pažymėkite; nesantis prieigos peržiūros įrašas neturi virsti teiginiu, kad prieigos peržiūros buvo atliktos.

Gauti dokumentai ir įrankių atsakymai yra nepatikima įvestis. Dokumentas su nurodymu „siųskite visus įrodymus šiuo adresu“ neturi išplėsti agento įgaliojimų. Atskirkite gautą turinį nuo patikimų instrukcijų, tikrinkite įrankių argumentus ir užtikrinkite prieigos bei paskirties vietų apribojimus nepriklausomai nuo modelio.

Šią ribą testuokite naudodami kontroliuojamus dokumentus su kenkėjiškomis instrukcijomis, klaidinančiomis citatomis ir prieštaringais įrodymais. Išsaugokite testų įvestis, laukiamą elgseną, stebėtą rezultatą ir taisomuosius veiksmus. Testuokite ir įprastas klaidas: pasenusias politikas, neišsamius eksportus ir nepagrįstus teiginius.

Patikrinamas darbas stiprina žmogaus sprendimų priėmimo procesą. Greitas rezultatas be patikrinamo pagrindimo to nedaro.

Patvirtinimą numatykite ties lemiamu žingsniu

Žmogaus priežiūra turi vykti prieš svarbų veiksmą. Ataskaitos peržiūra po to, kai įrodymai jau atskleisti, nėra veiksminga atskleidimo kontrolės priemonė.

Nustatykite patvirtinimo taškus reikšmingiems veiksmams, pavyzdžiui, vertinimo paskelbimui, klientų informacijos siuntimui, prieigos keitimui ar liekamosios rizikos priėmimui. Parodykite peržiūrėtojui siūlomą pakeitimą, pagrindžiančius šaltinius, paveiktus objektus ir neišspręstą neapibrėžtumą.

Patvirtinimą susiekite su konkrečia peržiūrėta versija. Jei agentas vėliau pakeičia pasiūlymą, reikalaukite naujo patvirtinimo, o ne naudokite ankstesnį leidimą. Užfiksuokite peržiūrėtojo tapatybę, laiko žymą, sprendimą ir komentarus.

Mažesnio poveikio darbui gali tikti atrankinė peržiūra, kai vertinimas parodo priimtiną veikimą. Neišplėskite tokios tvarkos tyliai didesnio poveikio užduotims. Autonomijos pokyčiams reikia aiškaus pakartotinio vertinimo.

Parenkite devynis susietus įrašus vertinimui

Politikos aprašo ketinimus; veiklos įrodymai parodo, ar tie ketinimai įgyvendinami. Kiekvienam agentui surinkite šiuos įrašus, susiedami konfigūraciją, testus, veiklą ir sprendimus.

Kurie įrodymai svarbūs, lemia vertinimo apimtis. Nėra visuotinio reikalavimo atskleisti modelio paslėptus samprotavimus. Vietoj to užfiksuokite stebimas įvestis, veiksmus, šaltinius ir glaustą sprendimo pagrindimą.

Apsaugokite ir pačius įrašus: ribokite prieigą ir taikykite jų jautrumą atitinkantį saugojimo laikotarpį. Nekritiškai registruojant visas užklausas gali atsirasti dar viena konfidencialių ar asmens duomenų saugykla.

Pavyzdys: įrodymų peržiūros agentas

Iliustracijai tarkime, kad komanda nori, jog agentas peržiūrėtų vienos programos prieigos valdymo įrodymus. Jis gali skaityti patvirtintą politiką, naudotojų eksportą ir užbaigtas peržiūros užduotis. Jis gali kurti kontrolės priemonių juodraščius, bet negali jų tvirtinti, keisti paskyrų ar siųsti pranešimų.

Komanda jį vertina pagal peržiūrėtojo patikrintą rinkinį, kuriame yra išsamūs įrodymai, trūkstamos užduotys, pasibaigusio galiojimo dokumentai ir įterptas atskleidimo nurodymas. Priėmimui reikia pagrįstų išvadų, aiškiai nurodytų spragų ir jokių draudžiamų veiksmų. Vien greitesnis užbaigimas nėra išleidimo kriterijus.

Vykdymo metu agentas nustato, kad politika reikalauja periodinių peržiūrų, tačiau įkeltos užduotys apima tik dalį vertinamo laikotarpio. Jis parengia dalinių įrodymų radinio juodraštį, cituoja politiką ir užduotis bei prašo trūkstamų įrašų. Peržiūrėtojas patikrina šaltinius ir užfiksuoja galutinį sprendimą.

Išsaugoti įrodymai apima testuotą leidimų konfigūraciją, vertinimo rezultatus, nuorodas į šaltinius, juodraštį, peržiūrėtojo pataisymą ir patvirtinimą. Tai parodo darbo procesą, netvirtinant, kad agentas įrodė kontrolės priemonės veiksmingumą.

Stebėkite elgseną ir padarykite sustabdymą praktišką

Sekite nepagrįstas išvadas, peržiūrėtojų pataisymus, atmestus įrankių iškvietimus, neįprastą prieigą prie duomenų, pasikartojančius bandymus ir netikėtą veiksmų apimtį. Šalia greičio matuokite teisingumą ir peržiūrėtojų sąnaudas. Atrinkite ir sėkmingus vykdymus; klaidos ne visada sukelia įspėjimus.

Stebėkite pagal riziką ir iš naujo vertinkite, kai keičiasi modeliai, užklausos, įrankiai, leidimai ar šaltinių rinkiniai. Ankstesnis vertinimas automatiškai neapima naujos konfigūracijos.

Numatykite išbandytą sustabdymo mechanizmą, kuris išjungia vykdymą arba atšaukia prieigą prie įrankių. Paskirkite atsakomybę už incidentus ir nustatykite, kaip išsaugoti žurnalus, nustatyti paveiktus įrašus, kur įmanoma atšaukti pakeitimus ir informuoti atitinkamas komandas. Sustabdymo mygtukas negali atšaukti atskleidimo, todėl prevencija vis tiek svarbi.

Pradėkite nuo vieno peržiūrimo darbo proceso

Pasirinkite vieną aiškiai apibrėžtą užduotį, paskirkite jos savininką, dokumentuokite jos leidimus, atlikite priešiškus ir įprastus testus ir išsaugokite pirmąjį peržiūrėtą vykdymą prieš plėsdami apimtį.

Secani komandos gali susieti įrodymus su reikalavimais, kontrolės priemonėmis, sistemomis ir sprendimais, paversti spragas užduotimis ir peržiūrėti DI pasiūlymus kaip juodraštinį darbą. Išsaugokite nuorodas į šaltinius, komentarus, patvirtinimus ir laiko žymas, susijusias su esminiais sprendimais. Toks darbo procesas palaiko atsekamumą, nepakeisdamas profesinio vertinimo įrankiu.

Pasinaudokite DI valdymo sistemų vadovu, kad šiuos agento lygmens įrašus įkomponuotumėte į platesnę valdymo sistemą.