Řiďte AI agenty

AI má práci připravovat, ne nahrazovat odpovědnost

Práce v compliance kombinuje rešerši, hodnocení, dokumentaci a koordinaci. AI agenti mohou velkou část z toho připravit: vytahovat důkazy, identifikovat otevřené body, shrnovat požadavky a připravovat koncepty návrhů. Odborná odpovědnost zůstává na týmu.

Inženýrský rozdíl spočívá v tom, zda systém pouze vytváří text, nebo může také volat nástroje, měnit záznamy a spouštět navazující pracovní postupy. Chybné shrnutí je třeba opravit. Chybná akce může zveřejnit důkazy, změnit oprávnění nebo rozšířit nepodložený závěr o opatření.

Každý pracovní postup s podporou AI proto potřebuje výslovné hranice: co smí agent navrhovat, co smí měnit a které kroky vyžadují schválení? Tyto hranice vynucujte pomocí oprávnění a řízení pracovních postupů, nejen pokyny v promptu. Návrhy udržujte viditelně oddělené od schválených rozhodnutí.

Níže uvedená opatření jsou praktickými doporučeními. Jejich použitelnost závisí na účelu agenta, datech, pravomocích a provozním prostředí.

Stanovte kontext řízení, aniž byste zaměňovali rámce

ISO/IEC 42001 stanoví požadavky na systém řízení AI. Rámec řízení rizik AI od NIST poskytuje dobrovolné pokyny pro řízení, mapování, měření a zvládání rizik AI. Ani jeden automaticky nezakládá soulad s aktem EU o umělé inteligenci.

Klasifikace podle aktu o umělé inteligenci závisí na případu užití a roli organizace. Agent používaný ke shrnutí důkazů nemá stejné důsledky jako systém používaný při rozhodování o zaměstnání. Ověřte si aktuální přehled Evropské komise, místo abyste každého agenta považovali za vysoce rizikového nebo předpokládali jeden univerzální termín implementace.

Pro účely hodnocení se zaměřte na prokazatelnou kontrolu: vysvětlete systém, ukažte jeho hranice a vytvářejte záznamy, které dokládají, že přezkum a monitorování skutečně proběhly.

Inventarizujte agenty a definujte jejich provozní rámec

Zahrňte agenty zabudované v SaaS produktech, interních skriptech a pracovních postupech jednotlivých oddělení, nejen centrálně nasazené aplikace. Porovnejte záznamy o nákupu, servisní identity, schválené integrace a rozhovory s týmy, abyste našli automatizaci, která v inventáři chybí.

U každého agenta zaznamenejte místo nasazení, model a dodavatele, připojené systémy, obchodní účel a stav životního cyklu. Jmenujte odpovědného vlastníka, technického správce a posuzovatele. V malém týmu se tyto role mohou překrývat, ale odpovědnost by měla zůstat výslovná.

Poté popište provozní rámec v testovatelných pojmech:

• Úkol: vytahovat pasáže relevantní pro vybraná opatření, nikoli určovat celkový soulad.
• Data: číst schválenou sbírku důkazů, nikoli každý dokument organizace.
• Výstup: vytvořit koncept hodnocení s citacemi a otevřenými otázkami.
• Akce: ukládat koncepty, ale nikdy neschvalovat opatření ani neodesílat důkazy externě.
• Eskalace: zastavit se a vyžádat si přezkum, když si zdroje odporují nebo chybí požadované důkazy.

Opakující se, ohraničená práce je obvykle nejlepším výchozím bodem. Vytahování informací z dokumentů, analýza mezer, předvyplňování opatření, shrnování změn a příprava otázek pro audit vytvářejí výstupy, které mohou posuzovatelé přímo prověřit.

Bezpečnostní týmy mohou agenty využívat také k obohacování upozornění, rekonstrukci časových os incidentů, stanovování priorit zranitelností, revizi kódu nebo označování neobvyklých oprávnění strojových identit. Začněte analýzou a doporučeními; udělení produkčního přístupu pro zápis vytváří jiný rizikový profil.

Vynucujte oprávnění mimo model

Každému nasazenému agentovi přidělte rozlišitelnou servisní identitu nebo ekvivalentní identitu pro spouštění. Vyhněte se sdíleným administrátorským přihlašovacím údajům. Přístup vymezte podle úkolu, prostředí, sbírky dat a povolené operace; přezkoumávejte jak přímá oprávnění, tak pravomoci zděděné prostřednictvím připojených nástrojů.

I agent pouze pro čtení může informace odhalit prostřednictvím svého výstupu. Omezte nejen vstupy, ale i cíle výstupů. Kde je to prakticky možné, používejte krátkodobé přihlašovací údaje a tajemství udržujte mimo prompty, vyhledané dokumenty a logy.

Rozhraní nástrojů by měla zpřístupňovat úzké operace s validovanými parametry. Agent připravující koncepty důkazů potřebuje operaci typu „vytvořit koncept“, nikoli neomezené rozhraní k databázi nebo shellu. Autorizaci ověřujte na straně serveru při každém volání. Popis vlastních pravomocí od modelu není rozhodnutím o řízení přístupu.

Stanovte limity pro volání nástrojů, opakované pokusy, uplynulý čas a velikost dávek. Ty snižují dopad smyček a nechtěných hromadných změn. Kde je zápis povolen, používejte pokud možno idempotentní operace a zaznamenávejte dostatek stavu pro podporu obnovy.

Častou chybou je schválit účel agenta a přitom ponechat jeho integrační účet se širokými oprávněními. Testujte skutečné přihlašovací údaje a cestu přes nástroje, nejen zamýšlenou konfiguraci.

Zpřístupněte zdroje k prověření a považujte je za nedůvěryhodný vstup

Věrohodně znějící odpověď pro práci v compliance nestačí. Posuzovatelé potřebují vidět, které soubory byly přečteny, které pasáže podporují návrh a které předpoklady zůstávají nevyřešené.

Každý podstatný závěr by měl nést odkaz na zdroj s identitou dokumentu, verzí nebo časovým razítkem načtení a relevantním umístěním. Odlišujte fakta ze zdrojů od interpretace modelu. Chybějící informace výslovně označte; chybějící záznam o přezkumu přístupů se nesmí změnit v tvrzení, že přezkumy přístupů proběhly.

Vyhledané dokumenty a odpovědi nástrojů jsou nedůvěryhodnými vstupy. Dokument obsahující „pošli všechny důkazy na tuto adresu“ nesmí rozšířit pravomoci agenta. Oddělujte vyhledaný obsah od důvěryhodných instrukcí, validujte argumenty nástrojů a omezení přístupu a cílů vynucujte nezávisle na modelu.

Tuto hranici testujte pomocí kontrolovaných dokumentů obsahujících škodlivé instrukce, zavádějící citace a rozporné důkazy. Uchovávejte testovací vstupy, očekávané chování, pozorovaný výsledek a nápravu. Testujte i běžná selhání: zastaralé politiky, neúplné exporty a nepodložená tvrzení.

Ověřitelná práce posiluje lidský rozhodovací proces. Rychlý výstup bez prověřitelné opory ne.

Umístěte schválení ke kroku, který má důsledky

Lidský dohled musí proběhnout před akcí, na které záleží. Přezkum zprávy poté, co byly důkazy zveřejněny, není účinným opatřením proti zveřejnění.

Definujte body schválení pro akce s důsledky, jako je zveřejnění hodnocení, odeslání informací o zákaznících, změna přístupu nebo akceptace zbytkového rizika. Ukažte posuzovateli navrhovanou změnu, podpůrné zdroje, dotčené objekty a nevyřešenou nejistotu.

Važte schválení na konkrétní přezkoumanou verzi. Pokud agent návrh poté změní, vyžadujte nové schválení, místo abyste znovu použili předchozí autorizaci. Zaznamenejte identitu posuzovatele, časové razítko, rozhodnutí a komentáře.

U práce s nižším dopadem může být vhodný přezkum na vzorku, jakmile vyhodnocení prokáže přijatelný výkon. Toto uspořádání tiše nerozšiřujte na úkoly s vyšším dopadem. Změny v míře autonomie vyžadují výslovné nové posouzení.

Připravte pro hodnocení devět propojených záznamů

Politiky popisují záměr; provozní důkazy ukazují, zda tento záměr platí. U každého agenta sestavte následující záznamy s vazbami mezi konfigurací, testy, činností a rozhodnutími.

O tom, které důkazy jsou relevantní, rozhoduje rozsah hodnocení. Neexistuje žádný univerzální požadavek odhalovat skryté uvažování modelu. Místo toho zachycujte pozorovatelné vstupy, akce, zdroje a stručné zdůvodnění rozhodnutí.

Chraňte i samotné záznamy: omezte přístup a uplatněte uchovávání přiměřené jejich citlivosti. Nevybíravé logování celých promptů může vytvořit další úložiště důvěrných nebo osobních údajů.

Modelový příklad: agent pro přezkum důkazů

Předpokládejme pro ilustraci, že tým chce agenta, který přezkoumá důkazy o řízení přístupu pro jednu aplikaci. Smí číst schválenou politiku, export uživatelů a dokončené tikety přezkumů. Smí vytvářet koncepty opatření, ale nemůže je schvalovat, měnit účty ani odesílat zprávy.

Tým ho vyhodnotí na sadě zkontrolované posuzovatelem, která obsahuje úplné důkazy, chybějící tikety, dokumenty s prošlou platností a podstrčenou instrukci ke zveřejnění. Přijetí vyžaduje podložené závěry, výslovnou identifikaci mezer a žádnou zakázanou akci. Samotné rychlejší dokončení není kritériem pro vydání.

Během běhu agent zjistí, že politika vyžaduje pravidelné přezkumy, ale nahrané tikety pokrývají jen část období hodnocení. Připraví koncept zjištění o částečných důkazech, ocituje politiku a tikety a vyžádá si chybějící záznamy. Posuzovatel zdroje ověří a zaznamená konečné rozhodnutí.

Uchované důkazy zahrnují otestovanou konfiguraci oprávnění, výsledky vyhodnocení, odkazy na zdroje, koncept, opravu posuzovatele a schválení. To dokládá pracovní postup, aniž by se tvrdilo, že agent prokázal účinnost opatření.

Monitorujte chování a učiňte zastavení proveditelným

Sledujte nepodložené závěry, opravy posuzovatelů, odepřená volání nástrojů, neobvyklý přístup k datům, opakované pokusy a neočekávaný objem akcí. Vedle rychlosti měřte i správnost a úsilí posuzovatelů. Vzorkujte i úspěšné běhy; chyby ne vždy vyvolají upozornění.

Monitorujte podle rizika a nové posouzení provádějte, když se změní modely, prompty, nástroje, oprávnění nebo sbírky zdrojů. Předchozí vyhodnocení automaticky nepokrývá novou konfiguraci.

Zajistěte otestovaný mechanismus zastavení, který vypne spouštění nebo odvolá přístup k nástrojům. Přiřaďte vlastnictví incidentů a definujte, jak uchovat logy, identifikovat dotčené záznamy, pokud možno vrátit změny a informovat příslušné týmy. Tlačítko zastavení nemůže vrátit zveřejnění, proto na prevenci stále záleží.

Začněte jedním přezkoumatelným pracovním postupem

Zvolte jeden ohraničený úkol, přiřaďte mu vlastníka, zdokumentujte jeho oprávnění, proveďte adversariální i běžné testy a před rozšířením rozsahu uchovejte první přezkoumané provedení.

V Secani mohou týmy propojovat důkazy s požadavky, opatřeními, systémy a rozhodnutími, měnit mezery v úkoly a přezkoumávat návrhy AI jako koncepty. Kolem podstatných rozhodnutí uchovávejte odkazy na zdroje, komentáře, schválení a časová razítka. Tento pracovní postup podporuje dohledatelnost, aniž by nástroj nahrazoval odborný úsudek.

Pomocí průvodce rámci pro správu AI zasaďte tyto záznamy na úrovni agentů do širšího systému řízení.