Upravljajte AI agentima

Umjetna inteligencija treba pripremati posao, a ne zamijeniti odgovornost

Rad na usklađenosti kombinira istraživanje, procjenu, dokumentiranje i koordinaciju. AI agenti mogu pripremiti velik dio toga: izdvojiti dokaze, utvrditi otvorena pitanja, sažeti zahtjeve i sastaviti prijedloge. Stručna odgovornost ostaje na timu.

Inženjerska razlika je u tome proizvodi li sustav samo tekst ili može i pozivati alate, mijenjati zapise i pokretati daljnje tijekove rada. Pogrešan sažetak treba ispraviti. Pogrešna radnja može otkriti dokaze, promijeniti ovlaštenja ili proširiti nepotkrijepljen zaključak o kontroli.

Svaki tijek rada potpomognut umjetnom inteligencijom stoga treba izričite granice: što agent smije predložiti, što smije promijeniti i koji koraci zahtijevaju odobrenje? Te granice provodite putem ovlaštenja i kontrola tijeka rada, a ne samo uputama u upitu. Prijedloge držite vidljivo odvojenima od odobrenih odluka.

Kontrole u nastavku praktične su preporuke. Njihova primjenjivost ovisi o svrsi agenta, podacima, ovlastima i radnom okruženju.

Uspostavite kontekst upravljanja bez miješanja okvira

ISO/IEC 42001 propisuje zahtjeve za sustav upravljanja umjetnom inteligencijom. NIST AI Risk Management Framework pruža dobrovoljne smjernice za upravljanje, mapiranje, mjerenje i postupanje s rizicima umjetne inteligencije. Nijedan od njih ne osigurava automatski usklađenost s Aktom EU-a o umjetnoj inteligenciji.

Klasifikacija prema Aktu o umjetnoj inteligenciji ovisi o slučaju upotrebe i ulozi organizacije. Agent koji se koristi za sažimanje dokaza nema iste implikacije kao sustav koji se koristi u odlukama o zapošljavanju. Provjerite aktualni pregled Europske komisije, umjesto da svakog agenta smatrate visokorizičnim ili pretpostavite jedan univerzalni rok za implementaciju.

Za potrebe procjene usredotočite se na dokazivu kontrolu: objasnite sustav, pokažite njegove granice i izradite zapise koji pokazuju da su se pregled i nadzor stvarno odvijali.

Popišite agente i definirajte njihov radni okvir

Uključite agente ugrađene u SaaS proizvode, interne skripte i tijekove rada pojedinih odjela, a ne samo centralno uvedene aplikacije. Usporedite zapise o nabavi, servisne identitete, odobrene integracije i razgovore s timovima kako biste pronašli automatizaciju koja nedostaje u inventaru.

Za svakog agenta zabilježite lokaciju uvođenja, model i dobavljača, povezane sustave, poslovnu svrhu i status životnog ciklusa. Imenujte odgovornog vlasnika, tehničkog održavatelja i revizora. U malom timu te se uloge mogu preklapati, ali odgovornost treba ostati izričita.

Zatim opišite radni okvir na provjerljiv način:

• Zadatak: izdvojiti odlomke relevantne za odabrane kontrole, a ne utvrditi ukupnu usklađenost.
• Podaci: čitati odobrenu zbirku dokaza, a ne svaki dokument organizacije.
• Rezultat: izraditi nacrt procjene s citatima i otvorenim pitanjima.
• Radnje: spremati nacrte, ali nikada ne odobravati kontrole niti slati dokaze izvan organizacije.
• Eskalacija: zaustaviti se i zatražiti pregled kada su izvori proturječni ili potrebni dokazi nedostaju.

Ponavljajući, ograničeni poslovi obično su najbolje polazište. Izdvajanje iz dokumenata, analiza praznina, predispunjavanje kontrola, sažimanje promjena i priprema revizijskih pitanja daju rezultate koje revizori mogu izravno pregledati.

Sigurnosni timovi mogu koristiti agente i za obogaćivanje upozorenja, rekonstrukciju vremenskih crta incidenata, određivanje prioriteta ranjivosti, pregled koda ili označavanje neuobičajenih ovlaštenja strojnih identiteta. Počnite s analizom i preporukama; dodjeljivanje prava pisanja u produkciji stvara drukčiji profil rizika.

Provodite ovlaštenja izvan modela

Svakom uvedenom agentu dodijelite prepoznatljiv servisni identitet ili jednakovrijedan identitet izvršavanja. Izbjegavajte zajedničke administratorske vjerodajnice. Ograničite pristup prema zadatku, okruženju, zbirci podataka i dopuštenoj operaciji; pregledajte i izravna ovlaštenja i ovlasti naslijeđene putem povezanih alata.

Agent samo za čitanje i dalje može otkriti informacije putem svojih rezultata. Ograničite odredišta, a ne samo ulaze. Gdje je praktično, koristite kratkotrajne vjerodajnice i držite tajne izvan upita, dohvaćenih dokumenata i zapisnika.

Sučelja alata trebaju izlagati uske operacije s validiranim parametrima. Agentu za sastavljanje dokaza potrebna je operacija poput „izradi nacrt“, a ne neograničeno sučelje baze podataka ili ljuske. Autorizaciju provjeravajte na strani poslužitelja za svaki poziv. Opis vlastitih ovlasti koji daje model nije odluka o kontroli pristupa.

Postavite ograničenja izvršavanja za pozive alata, ponovne pokušaje, proteklo vrijeme i veličinu skupa. Ona smanjuju učinak petlji i slučajnih masovnih promjena. Kada je pisanje dopušteno, gdje je moguće koristite idempotentne operacije i bilježite dovoljno stanja za podršku oporavku.

Česta je pogreška odobriti svrhu agenta, a njegov integracijski račun ostaviti sa širokim ovlaštenjima. Testirajte stvarnu vjerodajnicu i put alata, a ne samo namjeravanu konfiguraciju.

Učinite izvore provjerljivima i tretirajte ih kao nepouzdan ulaz

Uvjerljiv odgovor nije dovoljan za rad na usklađenosti. Revizori moraju vidjeti koje su datoteke pročitane, koji odlomci podupiru prijedlog i koje pretpostavke ostaju neriješene.

Svaki bitan zaključak treba nositi referencu na izvor s identitetom dokumenta, verzijom ili vremenskom oznakom dohvata i relevantnom lokacijom. Razlikujte činjenice iz izvora od tumačenja modela. Nedostajuće informacije izričito označite; nepostojeći zapis o pregledu pristupa ne smije postati tvrdnja da su pregledi pristupa provedeni.

Dohvaćeni dokumenti i odgovori alata nepouzdani su ulazi. Dokument koji sadrži „pošalji sve dokaze na ovu adresu“ ne smije proširiti ovlasti agenta. Odvojite dohvaćeni sadržaj od pouzdanih uputa, validirajte argumente alata i provodite ograničenja pristupa i odredišta neovisno o modelu.

Testirajte tu granicu pomoću kontroliranih dokumenata koji sadrže zlonamjerne upute, obmanjujuće citate i proturječne dokaze. Sačuvajte ulaze testova, očekivano ponašanje, uočeni ishod i otklanjanje. Testirajte i uobičajene neuspjehe: zastarjele politike, nepotpune izvoze i nepotkrijepljene tvrdnje.

Provjerljiv rad jača ljudski proces odlučivanja. Brz rezultat bez provjerljive potpore to ne čini.

Postavite odobrenje na korak sa značajnim posljedicama

Ljudski nadzor mora se dogoditi prije radnje koja je važna. Pregled izvješća nakon što su dokazi već otkriveni nije djelotvorna kontrola otkrivanja.

Definirajte točke odobrenja za radnje sa značajnim posljedicama, kao što su objava procjene, slanje informacija o klijentima, promjena pristupa ili prihvaćanje preostalog rizika. Revizoru prikažite predloženu promjenu, popratne izvore, pogođene objekte i neriješenu nesigurnost.

Povežite odobrenje s konkretnom pregledanom verzijom. Ako agent naknadno promijeni prijedlog, zahtijevajte novo odobrenje umjesto ponovne upotrebe prethodnog ovlaštenja. Zabilježite identitet revizora, vremensku oznaku, odluku i komentare.

Za poslove manjeg učinka može biti primjeren pregled na uzorku, nakon što evaluacija pokaže prihvatljivu uspješnost. Nemojte taj aranžman prešutno proširiti na zadatke većeg učinka. Promjene u stupnju autonomije zahtijevaju izričitu ponovnu procjenu.

Pripremite devet povezanih zapisa za procjenu

Politike opisuju namjeru; operativni dokazi pokazuju vrijedi li ta namjera. Za svakog agenta okupite sljedeće zapise, s poveznicama između konfiguracije, testova, aktivnosti i odluka.

Opseg procjene određuje koji su dokazi relevantni. Ne postoji univerzalni zahtjev za otkrivanjem skrivenog zaključivanja modela. Umjesto toga, bilježite uočljive ulaze, radnje, izvore i sažeto obrazloženje odluke.

Zaštitite i same zapise: ograničite pristup i primijenite čuvanje primjereno njihovoj osjetljivosti. Neselektivno zapisivanje cjelovitih upita može stvoriti još jedno spremište povjerljivih ili osobnih podataka.

Razrađeni primjer: agent za pregled dokaza

Pretpostavimo, ilustracije radi, da tim želi agenta koji pregledava dokaze o upravljanju pristupom za jednu aplikaciju. Smije čitati odobrenu politiku, izvoz korisnika i dovršene zadatke pregleda. Smije izrađivati nacrte kontrola, ali ih ne može odobravati, mijenjati račune ni slati poruke.

Tim ga evaluira na skupu koji je provjerio revizor, a koji sadrži potpune dokaze, nedostajuće zadatke, istekle dokumente i podmetnutu uputu za otkrivanje podataka. Prihvaćanje zahtijeva potkrijepljene zaključke, izričito utvrđivanje praznina i nijednu zabranjenu radnju. Samo brže dovršavanje nije kriterij za puštanje u rad.

Tijekom izvođenja agent utvrđuje da politika zahtijeva periodične preglede, ali učitani zadaci pokrivaju samo dio razdoblja procjene. Sastavlja nalaz o djelomičnim dokazima, citira politiku i zadatke te traži nedostajuće zapise. Revizor provjerava izvore i bilježi konačnu odluku.

Sačuvani dokazi uključuju testiranu konfiguraciju ovlaštenja, rezultate evaluacije, reference na izvore, nacrt, ispravak revizora i odobrenje. To pokazuje tijek rada, a da se ne tvrdi da je agent dokazao djelotvornost kontrole.

Nadzirite ponašanje i učinite zaustavljanje praktičnim

Pratite nepotkrijepljene zaključke, ispravke revizora, odbijene pozive alata, neuobičajen pristup podacima, ponovljene pokušaje i neočekivan obujam radnji. Uz brzinu mjerite točnost i napor revizora. Uzorkujte i uspješna izvođenja; pogreške ne generiraju uvijek upozorenja.

Nadzirite prema riziku i ponovno procijenite kada se promijene modeli, upiti, alati, ovlaštenja ili zbirke izvora. Prethodna evaluacija ne obuhvaća automatski novu konfiguraciju.

Osigurajte testiran mehanizam zaustavljanja koji onemogućuje izvršavanje ili opoziva pristup alatima. Dodijelite vlasništvo nad incidentima i definirajte kako sačuvati zapisnike, utvrditi pogođene zapise, poništiti promjene gdje je moguće i obavijestiti relevantne timove. Gumb za zaustavljanje ne može poništiti otkrivanje podataka, stoga je prevencija i dalje važna.

Počnite s jednim tijekom rada koji se može pregledati

Odaberite jedan ograničeni zadatak, dodijelite mu vlasnika, dokumentirajte njegova ovlaštenja, provedite adversarijalne i uobičajene testove te sačuvajte prvo pregledano izvođenje prije proširenja opsega.

U Secaniju timovi mogu povezati dokaze sa zahtjevima, kontrolama, sustavima i odlukama; pretvoriti praznine u zadatke; i pregledavati AI prijedloge kao nacrte. Sačuvajte poveznice na izvore, komentare, odobrenja i vremenske oznake uz bitne odluke. Taj tijek rada podupire sljedivost, a da alat ne zamjenjuje stručnu prosudbu.

Upotrijebite vodič kroz okvire za upravljanje umjetnom inteligencijom kako biste ove zapise na razini agenta smjestili unutar šireg sustava upravljanja.