Návrh Komise rozlišuje systémy AI s vysokým rizikem do dvou kategorií. První kategorií jsou systémy AI používané ve výrobcích, na které se vztahuje směrnice Evropského parlamentu a Rady o obecné bezpečnosti výrobků. Sem se řadí například hračky, letecký a kosmický průmysl, automobily, zdravotnické prostředky, a dokonce i chytré výtahy využívající pro svůj efektivní provoz AI. Je zřejmé, že výše uvedené produkty mohou mít v případě nesprávné funkcionality fatální dopad na své uživatele. Směrnice explicitně říká, že výrobci jsou povinni uvádět na trh pouze bezpečné výrobky, čímž zajišťuje jistá omezení užití AI.

Druhou kategorií jsou systémy AI rozdělené dle aplikace v potenciálně rizikových oblastech definovaných EU:

• Správa a provoz kritické infrastruktury, jejíž nesprávné fungování by mohlo ohrozit životy lidí.
• Oblast vzdělání, kdy by nesprávně nastavené systémy mohly odepřít lidem přístup ke vzdělávání či diskriminovat. Sem mohou patřit například systémy, které vyhodnocují výsledky zkoušek nebo zajišťují rozřazování do skupin.
• Zaměstnanost, řízení pracovní síly a přístup k samostatně výdělečné činnosti. Jedná se například o systémy automatického vyhodnocování kvalifikace k práci.
• Přístup k základním soukromým a veřejným službám a dávkám a jejich využívání. Typický příklad může být automatické vyhodnocování schopnosti splácet půjčky.
• Vymáhání práva. V těchto případech by opět mohlo docházet ke kolizi se základními právy dotčených subjektů.
• Řízení migrace, azylu a ochrany hranic.
• Biometrická identifikace a kategorizace fyzických osob.

Všechny vysoce rizikové systémy AI budou muset splňovat řadu náročných požadavků, než budou moci být uvedeny na trh v EU. Prvním krokem bude jejich registrace v databázi spravované Evropskou komisí.  Dále budou poskytovatelé muset nastavit systémy hodnocení rizik, prokázat vysokou kvalitu jejich dat, podrobně zpracovat systémovou dokumentaci či monitorovat výstupy. Zároveň bude muset být zajištěn lidský dohled nad těmito systémy a vysoká míra robustnosti, bezpečnosti a přesnosti napříč celým životním cyklem systému.

Návrhy Rady EU a Evropského parlamentu dále upřesňují a konkretizují některé požadavky na vysoce rizikové systémy AI. Například Rada EU se zaměřila na to, aby byly požadavky na vysoce rizikové systémy konkrétnější, a tedy technicky proveditelnější. Návrh Parlamentu dále objasňuje požadavky na vysoce rizikové systémy, přičemž podle tohoto návrhu není pouhé zařazení do určité skupiny dostatečné pro to, aby byl systém klasifikován jako vysoce rizikový. Zároveň připouští větší flexibilitu poskytovatelů AI, kdy aplikuje možnost vlastního posouzení rizikovosti AI systémů a oznámení této skutečnosti dohledové autoritě.

Týká se chystaná regulace umělé inteligence i vaší společnosti? Chcete využít technologie založené na umělé inteligenci, případně se přímo podílíte na jejich vývoji? Deloitte vám nabízí komplexní podporu pro zajištění vaší shody s nařízením AI Act. Naše služby zahrnují např. posouzení zralosti firmy k adaptaci AI řešení a jeho dopadům, implementace celého životního cyklu modelu, vytváření a aktualizaci interních procesů, podporu při tvorbě strategií, vzdělávání zaměstnanců a řadu dalšího. Pro více informací navštivte naše webové stránky.