
Správa AI začíná znalostí toho, které systémy organizace poskytuje, zavádí nebo jinak dodává na trh. Seznam názvů modelů nestačí: povinnosti, které je třeba prověřit, určuje zamýšlený účel, prostředí nasazení a vaše role.
Pro vedení je klasifikace rozhodnutím o alokaci zdrojů stejně jako právním posouzením. Určuje, které projekty potřebují revizi specialistou, co musí dodavatelé prokázat a jaké důkazy musí existovat před uvedením do provozu. Náborový nástroj a interní asistent pro psaní mohou používat stejný model, a přesto vyžadovat velmi odlišná posouzení.
Užitečným výstupem je zrevidovaný registr případů použití propojený s vlastníky, požadavky, důkazy a rozhodnutími o změnách, nikoli celofiremní označení „AI s nízkým rizikem“.
Akt EU o umělé inteligenci (nařízení (EU) 2024/1689) je nařízení, jehož povinnosti závisejí na činnosti, systému a provozovateli. Jeho územní působnost zahrnuje poskytovatele, kteří systémy uvádějí na trh v EU nebo do provozu, zavádějící subjekty usazené nebo nacházející se v EU a určité poskytovatele a zavádějící subjekty mimo EU, pokud se výstupy systému používají v EU. Samotné státní občanství rozhodujícím kritériem není.
Nechte právní a technické revizory určit, zda aplikace splňuje definici systému AI podle aktu a zda se uplatní některé relevantní výjimky z působnosti. Nepředpokládejte, že každý automatizační skript je AI ani že externě hostovaná služba leží mimo vaše odpovědnosti.
Poté zaznamenejte svou roli:
Organizace může v rámci svého portfolia zastávat různé role. Nákup API neurčuje roli hotové aplikace. Změna značky, podstatná úprava nebo změna zamýšleného účelu mohou za příslušných podmínek vyvolat odpovědnosti poskytovatele. Doladění (fine-tuning) je proto spouštěčem revize, nikoli automatickým právním závěrem.
Odlišujte model AI pro obecné účely od systému, který je na něm postaven. Povinnosti poskytovatele modelu a povinnosti týkající se navazujícího systému spolu souvisejí, ale nejsou zaměnitelné.
Inventarizujte podnikové funkce, nejen dodavatele. Udělejte rozhovory s nákupem, personálním oddělením, produktem, provozem a IT: AI může přijít jako nová funkce stávajícího dodavatele, nikoli prostřednictvím samostatného nákupu.
U každého případu použití zachyťte:
| Pole soupisu | Čemu musí revizor porozumět |
|---|---|
| Účel a hranice | Prováděná úloha, povolená použití a výslovně vyloučená použití |
| Uživatelé a dotčené osoby | Kdo systém obsluhuje a čí příležitosti, práva nebo bezpečnost mohou být dotčeny |
| Vliv na rozhodování | Zda systém navrhuje, doporučuje, řadí, filtruje, schvaluje nebo provádí |
| Systém a dodavatelé | Aplikace, podkladový model, verze, integrace a externí poskytovatelé |
| Data a nasazení | Vstupy, osobní údaje, provozní prostředí a relevantní geografický rozsah |
| Role a vlastnictví | Role provozovatele, vlastník z byznysu, právní revizor a technický kontakt |
| Záznam o posouzení | Klasifikace, zdůvodnění, podpůrné zdroje, nejistoty a spouštěč revize |
Vedle zamýšleného účelu zaznamenávejte skutečné pracovní postupy. Nástroj popisovaný jako „asistence pro recruitery“ může fakticky vyřazovat uchazeče, pokud zaměstnanci prověřují jen jeho užší výběr. Písemná politika vyžadující lidskou revizi neprokazuje, že k revizi dochází.
Výstupem je verzovaný záznam pro každý případ použití. Nevyřešené klasifikace by měly zůstat viditelně nevyřešené, s vlastníkem a termínem rozhodnutí, místo aby se automaticky zařadily do nejméně náročné kategorie.
Známý čtyřstupňový popis (zakázané, vysoce rizikové, s povinnostmi transparentnosti a s nižším rizikem) je užitečným úvodem. Není však úplným rozhodovacím stromem. Povinnosti transparentnosti se mohou překrývat s povinnostmi pro vysoce rizikové systémy a povinnosti týkající se gramotnosti v oblasti AI se neomezují na vysoce rizikové systémy.
Článek 5 zakazuje vymezené praktiky, s výhradou podrobných podmínek a výjimek tohoto ustanovení. Relevantní otázky pro prověření zahrnují, zda systém využívá škodlivou manipulaci nebo zneužívá zranitelnosti, provádí zakázané sociální hodnocení (social scoring), vytváří databáze pro rozpoznávání obličejů necíleným získáváním (scrapingem) nebo provádí zakázanou biometrickou kategorizaci.
Odvozování emocí pomocí AI z biometrických údajů na pracovištích a ve vzdělávacích institucích je rovněž zakázáno, s výjimkou vymezených lékařských nebo bezpečnostních důvodů. Analýza sentimentu pouze z textu pod tento zákaz nespadá jen proto, že posuzuje emoční vyznění. Pro určitá biometrická použití v oblasti vymáhání práva platí přísně ohraničená pravidla; věta „veškeré rozpoznávání obličejů je zakázáno“ není přesnou náhradou posouzení.
Možnou zakázanou praktiku eskalujte ještě před nákupem nebo zavedením. Důkazy by měly popisovat funkcionalitu a právní úvahu, nikoli jen opakovat prohlášení dodavatele o „etické AI“.
Cesta regulovaných produktů, čl. 6 odst. 1: prověřte, zda je AI sama produktem nebo bezpečnostní součástí produktu, na který se vztahují příslušné harmonizační právní předpisy uvedené v příloze I, a zda tento produkt vyžaduje posouzení shody třetí stranou. Na obou podmínkách záleží. Pro konkrétní produktový režim použijte novelizované znění právního předpisu; samotné začlenění AI status vysoce rizikového systému nezakládá.
Cesta přílohy III, čl. 6 odst. 2: prověřte, zda zamýšlená funkce odpovídá uvedenému případu použití. Osm oblastí jsou široké nadpisy, nikoli pravidla, podle nichž je každá aplikace v daném odvětví vysoce riziková.
| Oblast přílohy III | Funkce vyžadující důkladné posouzení |
|---|---|
| Biometrie | Povolená biometrická identifikace na dálku, vymezená biometrická kategorizace a rozpoznávání emocí; ověření, jehož jediným účelem je potvrdit tvrzenou totožnost, se posuzuje odlišně |
| Kritická infrastruktura | Bezpečnostní součásti používané při řízení a provozu vymezené infrastruktury, včetně silničního provozu a dodávek energií a vody |
| Vzdělávání a odborná příprava | Rozhodování o přijetí nebo přístupu, hodnocení výsledků učení, posuzování úrovně vzdělání a sledování zakázaného chování během testů |
| Zaměstnání a řízení pracovníků | Nábor, hodnocení uchazečů, vymezená rozhodnutí v pracovněprávních vztazích, přidělování úkolů na základě osobních vlastností nebo chování a sledování výkonnosti |
| Základní soukromé a veřejné služby | Vymezená rozhodnutí o veřejných dávkách, úvěruschopnost, posuzování rizik a stanovování cen v životním a zdravotním pojištění a hodnocení nebo třídění tísňových volání |
| Vymáhání práva | Vymezená povolená posouzení týkající se rizika viktimizace, spolehlivosti důkazů, rizika pachatelství, nástrojů podobných detektoru lži a profilování při vyšetřování |
| Migrace, azyl a ochrana hranic | Vymezená povolená posouzení rizik, posuzování žádostí, identifikace a použití podobná detektoru lži |
| Justice a demokratické procesy | Pomoc při soudním posuzování a uplatňování práva a vymezená použití ovlivňující volby, referenda nebo volební chování |
Přečtěte si podrobné položky a výjimky. Například odhalování finančních podvodů se odlišuje od uvedeného případu posuzování úvěruschopnosti a ověřování cestovních dokladů je z příslušné položky o identifikaci v oblasti migrace vyloučeno. Administrativní organizace kampaně není totéž co ovlivňování voličů.
Článek 50 se týká určitých interakcí a výstupů. V závislosti na roli a okolnostech se povinnosti týkají informování lidí o tom, že komunikují s AI, strojově čitelného označování syntetických výstupů, zveřejňování informací o deepfakes a vymezených textů ve veřejném zájmu generovaných AI. Pro použití rozpoznávání emocí a biometrické kategorizace platí, pokud jsou povolena, rovněž ustanovení o informování.
Nezužujte to na „označte každý dokument vytvořený s pomocí AI“. Určete, které ustanovení se uplatní, kdo musí jednat a zda je relevantní nějaká výjimka. Jako důkazy uchovávejte znění oznámení, jeho umístění, ujednání o označování výstupů a výsledky testů.
Některé systémy z přílohy III mohou podle čl. 6 odst. 3 stát mimo klasifikaci vysoce rizikových systémů. Nejde o obecnou výjimku pro nástroje, v jejichž procesu někde figuruje člověk.
Posouzení se musí zabývat tím, zda systém představuje významné riziko újmy na zdraví, bezpečnosti nebo základních právech, včetně toho, zda podstatně ovlivňuje výsledky rozhodování. Ustanovení uvádí okolnosti týkající se úzce vymezených procedurálních úkolů, zlepšení výsledku dříve dokončené lidské činnosti, odhalování vzorců nebo odchylek za vymezených podmínek přezkumu a přípravných úkolů. Spolehnutí na výjimku vyžaduje splnění alespoň jedné z těchto podmínek a prokázání, že systém nepředstavuje vymezené významné riziko.
Poskytovatel, který se na tuto výjimku spoléhá, musí posouzení zdokumentovat dříve, než systém uvede na trh nebo do provozu, a splnit příslušnou registrační povinnost. Zásadní je, že systém z přílohy III, který provádí profilování fyzických osob, zůstává vysoce rizikovým; to neznamená, že každý systém profilování v každém kontextu se automaticky stává vysoce rizikovým.
Důkazy by měly vysvětlit, jaké informace systém využívá, jak výstupy ovlivňují revizory a zda údajně přípravný úkol neurčuje, kdo získá věcné posouzení. Zahrňte pozorování pracovního postupu a reprezentativní výstupy. Věta „konečné rozhodnutí činí člověk“ je nedostatečná, pokud řazení, filtrování nebo doporučení toto rozhodnutí fakticky určují.
K 7. říjnu 2026 uvádí aktuální přehled a harmonogram aktu o umělé inteligenci Evropské komise následující milníky:
| Datum | Milník použitelnosti |
|---|---|
| 2. února 2025 | Povinnosti týkající se zakázaných praktik a gramotnosti v oblasti AI |
| 2. srpna 2025 | Ustanovení o AI pro obecné účely, s výhradou příslušných přechodných období |
| 2. srpna 2026 | Obecná použitelnost včetně pravidel transparentnosti |
| 2. prosince 2027 | Aktualizované datum použitelnosti pro vysoce rizikové systémy podle přílohy III |
| 2. srpna 2028 | Aktualizované datum použitelnosti pro vysoce rizikové systémy v regulovaných produktech |
Ověřte novelizované znění právního předpisu a svá konkrétní přechodná ustanovení. Stávající systémy, data uvedení modelů na trh, změny a konkrétní uspořádání provozovatelů mohou vyžadovat další analýzu. Starší průvodce mohou stále uvádět dřívější data pro vysoce rizikové systémy.
Aktualizovaný harmonogram pro vysoce rizikové systémy nevykládejte jako odklad celého aktu. Rozpočtujte zvlášť povinnosti, které již platí, a přípravu na příslušný režim pro vysoce rizikové systémy. Váš registr by měl uvádět příslušný milník a zdroj, ze kterého jste jej určili.
Odpovědnosti poskytovatele a zavádějícího subjektu se liší. Vedení by mělo vyžadovat plán specifický pro roli, místo aby každou povinnost přidělilo každému týmu.
Požadavky na vysoce rizikové systémy a povinnosti poskytovatele zahrnují řízení rizik, správu dat, technickou dokumentaci, vedení záznamů, informace pro zavádějící subjekty, lidský dohled, přesnost, robustnost, kybernetickou bezpečnost a řízení kvality. Plánování vyžadují také příslušné postupy posouzení shody, prohlášení, označení, registrace, monitorování po uvedení na trh a řešení incidentů.
Převeďte je do výstupů:
Ne každý vysoce rizikový systém prochází stejnou cestou posouzení. Nerozpočtujte univerzální audit třetí stranou a nepovažujte bezpečnostní certifikaci za důkaz shody s aktem o umělé inteligenci.
Zaměřte se na provoz systému v souladu s návodem, přidělení kompetentního dohledu, monitorování jeho používání a vedení požadovaných záznamů. Řešte vhodnost vstupních dat tam, kde tyto vstupy kontrolujete, a příslušné požadavky na informování pracovníků nebo dotčených osob.
Vyžádejte si od dodavatelů relevantní návody, omezení, požadavky na dohled a informace o shodě. Identifikujte, co poskytnout nemohou, a kdo mezeru vyřeší. Prohlášení dodavatele o ujištění neprokazuje, že je vaše místní konfigurace vhodná.
Posuďte, zda je pro vaši kategorii zavádějícího subjektu a případ použití vyžadováno posouzení dopadu na základní práva. Není univerzální pro všechna nasazení. Pokud jsou zapojeny osobní údaje, posuďte požadavky GDPR samostatně; posouzení vlivu na ochranu osobních údajů a posouzení podle aktu o umělé inteligenci slouží různým právním účelům, i když se důkazy překrývají.
U každého výstupu určete vlastníka, revizora, termín, umístění zdroje a kritérium přijetí. „Politika nahrána“ není totéž co „kontrola prokázána“.
Ilustrativní předpoklady: zaměstnavatel v EU používá jazykový model třetí strany pro interního asistenta pro psaní a samostatnou náborovou aplikaci. Náborová aplikace boduje uchazeče podle kritérií pozice a předkládá seřazený užší výběr. Zaměstnavatel obojí používá interně; jeho přesné role provozovatele vyžadují revizi.
U asistenta pro psaní zaznamenejte povolené úlohy při tvorbě textů, omezení dat, revizi výstupů a případné příslušné požadavky na transparentnost. Běžné interní psaní se nestává vysoce rizikovým jen proto, že využívá AI. Rozšíření na hodnocení v pracovněprávních vztazích by vyvolalo nové posouzení.
U náboru je přímo relevantní položka přílohy III týkající se zaměstnání. Revidujte bodování a profilování uchazečů, nejen popis rozhraní. Pokud recruiteři zvažují pouze uchazeče z užšího výběru, systém podstatně ovlivňuje přístup k zaměstnání. Lidské schválení konečného přijetí tento vliv neodstraňuje.
Rozhodnutí vedení je proto pro každou aplikaci jiné. Asistent pro psaní může po revizi pokračovat s přiměřenými kontrolami. Náborový projekt potřebuje plán připravenosti pro vysoce rizikové systémy, důkazy od dodavatele, vyškolený dohled, vyhodnocení místního používání a zdokumentované rozhodnutí o uvedení do provozu.
Pokud tým navrhne změnit náborovou funkci na plánování termínů pohovorů, posuďte tento nový účel a pracovní postup znovu. Plánování může být úzce vymezeným procedurálním úkolem, ale ponechání bodování uchazečů v pozadí by revidované zdůvodnění podkopalo. Rozhodnutí verzujte, místo abyste přepsali původní záznam.
Určete vlastníka z byznysu, který dokáže vysvětlit účel a schválit zdroje, technického vlastníka, který dokáže doložit chování systému, a právního revizora nebo revizora pro compliance, který dokáže klasifikaci zpochybnit. Schválení vedením by mělo řešit financování, omezení uvedení do provozu a nevyřešená rizika, nikoli nahrazovat odbornou analýzu.
Jako praktické doporučení revidujte klasifikaci, když se změní účel, uživatelé, data, integrace, autonomie nebo vliv na rozhodnutí s důsledky. Propojte tuto revizi s obnovami nákupních smluv a vydáními produktů. Samotná aktualizace modelu nemusí klasifikaci změnit, ale může zneplatnit důkazy z hodnocení nebo provozní předpoklady.
Mezi časté chyby patří přebírání klasifikací platných pro celého dodavatele, předpoklad, že lidská revize automaticky zakládá výjimku, přehlížení již platných povinností v oblasti gramotnosti a transparentnosti a shromažďování dokumentů bez testování místního provozu. Systém řízení podle ISO/IEC 42001 může správu podpořit, ale certifikace automaticky nezakládá soulad s aktem o umělé inteligenci.
Secani může podpořit práci s důkazy propojením požadavků, kontrol, zdrojových materiálů, vlastníků, úkolů a zrevidovaných rozhodnutí. Začněte jedním procesem, připojte důkazy k tomu, co prokazují, a u podstatných závěrů uchovávejte komentáře, schválení a časová razítka. Návrhy s podporou AI považujte za podklady k lidské revizi, nikoli za právní rozhodnutí. Náš průvodce správou AI agentů nabízí praktické kontroly pro oprávnění a revize.
Dalším užitečným krokem je cílený workshop ke klasifikaci: vyberte nejvýznamnější provozované případy použití, přizvěte jejich obchodní a technické vlastníky a vytvořte zrevidované záznamy s nevyřešenými otázkami a úkoly k důkazům. Vedení tak získá obhajitelný základ pro rozhodnutí, co může pokračovat, co potřebuje podmínky a co vyžaduje další posouzení.
Secani propojuje rozsahy, důkazy, úkoly a agenty AI v jednom sdíleném pracovním prostoru.
Využijte systémy řízení AI a rámce řízení rizik k uspořádání správy AI a právní požadavky aktu o umělé inteligenci posuzujte samostatně.
Odkaz na zdroj nečiní verdikt AI spolehlivým. Vztah mezi požadavkem, důkazem a verdiktem musí být testovatelný.
Compliance postavená na AI znamená importovat stávající důkazy, chápat kontext, nacházet mezery, přezkoumávat výstupy a ponechat lidem kontrolu tam, kde rozhoduje úsudek.