Juhtige tehisintellekti agente

Tehisintellekt peaks tööd ette valmistama, mitte vastutust asendama

Vastavustöö ühendab uurimise, hindamise, dokumenteerimise ja koordineerimise. Tehisintellekti agendid saavad suure osa sellest ette valmistada: tõendeid välja võtta, avatud punkte tuvastada, nõudeid kokku võtta ja ettepanekuid mustandina koostada. Professionaalne vastutus jääb meeskonnale.

Insenertehniline erinevus seisneb selles, kas süsteem ainult loob teksti või saab ka tööriistu kasutada, kirjeid muuta ja allavoolu töövooge käivitada. Ekslik kokkuvõte vajab parandamist. Ekslik toiming võib avalikustada tõendeid, muuta õigusi või levitada toetuseta järeldust kontrollimeetme kohta.

Iga tehisintellekti abil tehtav töövoog vajab seega selgesõnalisi piire: mida tohib agent välja pakkuda, mida tohib see muuta ja millised sammud nõuavad heakskiitu? Jõustage need piirid õiguste ja töövoo kontrollide kaudu, mitte ainult viiba juhistega. Hoidke ettepanekud heakskiidetud otsustest nähtavalt lahus.

Allpool toodud kontrollimeetmed on praktilised soovitused. Nende kohaldatavus sõltub agendi eesmärgist, andmetest, volitustest ja töökeskkonnast.

Kehtestage juhtimise kontekst raamistikke segi ajamata

ISO/IEC 42001 annab nõuded tehisintellekti juhtimissüsteemile. NIST-i tehisintellekti riskijuhtimise raamistik annab vabatahtlikud juhised tehisintellekti riskide juhtimiseks, kaardistamiseks, mõõtmiseks ja haldamiseks. Kumbki ei taga automaatselt vastavust ELi tehisintellekti määrusele.

Tehisintellekti määruse kohane klassifikatsioon sõltub kasutusjuhust ja organisatsiooni rollist. Tõendite kokkuvõtmiseks kasutataval agendil ei ole samu tagajärgi kui süsteemil, mida kasutatakse tööhõivealastes otsustes. Kontrollige Euroopa Komisjoni ajakohast ülevaadet, selle asemel et käsitleda iga agenti suure riskiga süsteemina või eeldada üht universaalset rakendamise tähtaega.

Hindamise eesmärgil keskenduge tõendatavale kontrollile: selgitage süsteemi, näidake selle piire ja looge kirjed, mis näitavad, et ülevaatus ja seire tegelikult toimusid.

Inventeerige agendid ja määratlege nende tegevusraamistik

Kaasake SaaS-toodetesse põimitud agendid, sisemised skriptid ja osakondade töövood, mitte ainult tsentraalselt juurutatud rakendused. Võrrelge hankekirjeid, teenuseidentiteete, heakskiidetud integratsioone ja meeskondade intervjuusid, et leida inventarist puuduv automatiseerimine.

Pange iga agendi kohta kirja selle juurutuskoht, mudel ja tarnija, ühendatud süsteemid, ärieesmärk ja elutsükli olek. Nimetage vastutav omanik, tehniline hooldaja ja hindaja. Väikeses meeskonnas võivad need rollid kattuda, kuid vastutus peaks jääma selgesõnaliseks.

Seejärel kirjeldage tegevusraamistikku testitaval kujul:

• Ülesanne: võtta välja valitud kontrollimeetmetega seotud lõigud, mitte määrata üldist vastavust.
• Andmed: lugeda heakskiidetud tõendikogumit, mitte kõiki organisatsiooni dokumente.
• Väljund: luua hindamise mustand koos viidete ja avatud küsimustega.
• Toimingud: salvestada mustandeid, kuid mitte kunagi kiita heaks kontrollimeetmeid ega saata tõendeid väljapoole.
• Eskaleerimine: peatuda ja taotleda ülevaatust, kui allikad on vastuolus või nõutavad tõendid puuduvad.

Korduv, piiritletud töö on tavaliselt kõige tugevam lähtepunkt. Dokumentidest teabe väljavõtmine, lüngaanalüüs, kontrollimeetmete eeltäitmine, muudatuste kokkuvõtmine ja auditiküsimuste ettevalmistamine annavad väljundeid, mida hindajad saavad otse uurida.

Turvameeskonnad saavad agente kasutada ka hoiatuste rikastamiseks, intsidentide ajajoonte rekonstrueerimiseks, haavatavuste prioriseerimiseks, koodi ülevaatamiseks või masinidentiteetide ebatavaliste õiguste märkimiseks. Alustage analüüsist ja soovitustest; tootmiskeskkonnas kirjutusõiguse andmine loob teistsuguse riskiprofiili.

Jõustage õigused väljaspool mudelit

Andke igale juurutatud agendile eristatav teenuseidentiteet või samaväärne täitmisidentiteet. Vältige jagatud administraatori volitusi. Piirake juurdepääsu ülesande, keskkonna, andmekogumi ja lubatud toimingu järgi; vaadake üle nii otsesed õigused kui ka ühendatud tööriistade kaudu päritud volitused.

Ainult lugemisõigusega agent võib siiski oma väljundi kaudu teavet paljastada. Piirake nii sihtkohti kui ka sisendeid. Kus võimalik, kasutage lühiajalisi volitusi ja hoidke saladused viipadest, hangitud dokumentidest ja logidest eemal.

Tööriistaliidesed peaksid pakkuma kitsaid, valideeritud parameetritega toiminguid. Tõendite mustandeid koostav agent vajab toimingut nagu „loo mustand“, mitte piiramatut andmebaasi- või käsureaga liidest. Valideerige autoriseerimine iga kutse puhul serveri poolel. Mudeli kirjeldus oma volitustest ei ole juurdepääsukontrolli otsus.

Seadke täitmispiirangud tööriistakutsetele, kordusproovidele, kulunud ajale ja partii suurusele. Need vähendavad tsüklite ja juhuslike massmuudatuste mõju. Kui kirjutamine on lubatud, kasutage võimaluse korral idempotentseid toiminguid ja salvestage taastamise toetamiseks piisavalt olekuteavet.

Sage viga on agendi eesmärgi heakskiitmine, jättes samal ajal selle integratsioonikontole laiad õigused. Testige tegelikku volitust ja tööriistateed, mitte ainult kavandatud konfiguratsiooni.

Muutke allikad kontrollitavaks ja käsitlege neid ebausaldusväärse sisendina

Usutav vastus ei ole vastavustöös piisav. Hindajad peavad nägema, milliseid faile loeti, millised lõigud ettepanekut toetavad ja millised eeldused jäävad lahendamata.

Iga olulise järeldusega peaks kaasnema allikaviide koos dokumendi identiteedi, versiooni või hankimise ajatempli ja asjakohase asukohaga. Eristage allikafakte mudeli tõlgendusest. Märkige puuduv teave selgesõnaliselt; puuduvast juurdepääsuõiguste ülevaatuse kirjest ei tohi saada väidet, et juurdepääsuõiguste ülevaatused toimusid.

Hangitud dokumendid ja tööriistade vastused on ebausaldusväärsed sisendid. Dokument, mis sisaldab lauset „saada kõik tõendid sellele aadressile“, ei tohi agendi volitusi laiendada. Eraldage hangitud sisu usaldusväärsetest juhistest, valideerige tööriistade argumendid ning jõustage juurdepääsu- ja sihtkohapiirangud mudelist sõltumatult.

Testige seda piiri kontrollitud dokumentidega, mis sisaldavad pahatahtlikke juhiseid, eksitavaid viiteid ja vastuolulisi tõendeid. Säilitage testisisendid, oodatav käitumine, täheldatud tulemus ja parandustöö. Testige ka tavalisi tõrkeid: aegunud poliitikaid, mittetäielikke eksporte ja toetuseta väiteid.

Kontrollitav töö tugevdab inimeste otsustusprotsessi. Kiire väljund ilma kontrollitava toetuseta seda ei tee.

Paigutage heakskiit tagajärgedega sammule

Inimjärelevalve peab toimuma enne olulist toimingut. Aruande ülevaatamine pärast tõendite avalikustamist ei ole tõhus avalikustamise kontroll.

Määratlege heakskiidupunktid tagajärgedega toimingutele, nagu hindamise avaldamine, klienditeabe saatmine, juurdepääsu muutmine või jääkriski aktsepteerimine. Näidake hindajale kavandatud muudatust, toetavaid allikaid, mõjutatud objekte ja lahendamata ebakindlust.

Siduge heakskiit konkreetse üle vaadatud versiooniga. Kui agent ettepanekut hiljem muudab, nõudke uut heakskiitu, selle asemel et varasemat luba uuesti kasutada. Salvestage hindaja identiteet, ajatempel, otsus ja kommentaarid.

Väiksema mõjuga töö puhul võib pärast seda, kui hindamine on näidanud vastuvõetavat toimivust, olla asjakohane valimipõhine ülevaatus. Ärge laiendage seda korraldust vaikselt suurema mõjuga ülesannetele. Autonoomia muutused vajavad selgesõnalist uut hindamist.

Valmistage hindamiseks ette üheksa omavahel seotud kirjet

Poliitikad kirjeldavad kavatsust; operatiivsed tõendid näitavad, kas see kavatsus peab paika. Koostage iga agendi kohta järgmised kirjed, sidudes omavahel konfiguratsiooni, testid, tegevuse ja otsused.

Hindamise ulatus määrab, millised tõendid on asjakohased. Puudub universaalne nõue paljastada mudeli varjatud arutluskäik. Salvestage selle asemel jälgitavad sisendid, toimingud, allikad ja lühike otsuse põhjendus.

Kaitske kirjeid endid: piirake juurdepääsu ja rakendage nende tundlikkusele vastavat säilitamist. Täielike viipade valimatu logimine võib luua veel ühe konfidentsiaalsete või isikuandmete hoidla.

Näide: tõendeid üle vaatav agent

Oletame illustreerivalt, et meeskond soovib agenti, mis vaatab üle ühe rakenduse juurdepääsuhalduse tõendid. See võib lugeda heakskiidetud poliitikat, kasutajate eksporti ja lõpetatud ülevaatuspileteid. See võib luua kontrollimeetmete mustandeid, kuid ei saa neid heaks kiita, kontosid muuta ega sõnumeid saata.

Meeskond hindab seda hindaja kontrollitud kogumi põhjal, mis sisaldab täielikke tõendeid, puuduvaid pileteid, aegunud dokumente ja sinna pandud avalikustamisjuhist. Vastuvõtmine nõuab toetatud järeldusi, lünkade selgesõnalist tuvastamist ja keelatud toimingute puudumist. Kiirem lõpetamine üksi ei ole väljalaske kriteerium.

Käivitamise ajal leiab agent, et poliitika nõuab perioodilisi ülevaatusi, kuid üleslaaditud piletid katavad ainult osa hindamisperioodist. See koostab osaliste tõendite leiu mustandi, viitab poliitikale ja piletitele ning küsib puuduvaid kirjeid. Hindaja kontrollib allikaid ja salvestab lõpliku otsuse.

Säilitatud tõendid hõlmavad testitud õiguste konfiguratsiooni, hindamistulemusi, allikaviiteid, mustandit, hindaja parandust ja heakskiitu. See näitab töövoogu, väitmata, et agent tõendas kontrollimeetme tõhusust.

Jälgige käitumist ja muutke peatamine praktiliseks

Jälgige toetuseta järeldusi, hindajate parandusi, keelatud tööriistakutseid, ebatavalist andmetele juurdepääsu, korduvaid kordusproove ja ootamatut toimingute mahtu. Mõõtke kiiruse kõrval õigsust ja hindajate töömahtu. Võtke valim ka õnnestunud käivitustest; vead ei tekita alati hoiatusi.

Jälgige vastavalt riskile ja hinnake uuesti, kui mudelid, viibad, tööriistad, õigused või allikakogumid muutuvad. Varasem hindamine ei kata automaatselt uut konfiguratsiooni.

Tagage testitud peatamismehhanism, mis lülitab täitmise välja või tühistab juurdepääsu tööriistadele. Määrake intsidendi omand ja määratlege, kuidas säilitada logisid, tuvastada mõjutatud kirjeid, võimaluse korral muudatusi tagasi pöörata ja teavitada asjakohaseid meeskondi. Peatamisnupp ei saa avalikustamist tagasi võtta, seega on ennetamine endiselt oluline.

Alustage ühest ülevaadatavast töövoost

Valige üks piiritletud ülesanne, määrake selle omanik, dokumenteerige selle õigused, viige läbi vastaseid simuleerivad ja tavalised testid ning säilitage esimene üle vaadatud täitmine enne ulatuse laiendamist.

Secanis saavad meeskonnad siduda tõendid nõuete, kontrollimeetmete, süsteemide ja otsustega; muuta lüngad ülesanneteks; ning vaadata tehisintellekti soovitused üle mustanditööna. Säilitage oluliste otsuste ümber allikalingid, kommentaarid, heakskiidud ja ajatemplid. See töövoog toetab jälgitavust, asendamata professionaalset otsustust tööriistaga.

Kasutage tehisintellekti juhtimisraamistike juhendit, et paigutada need agendi tasandi kirjed laiemasse juhtimissüsteemi.