Michal Čábela z oddělení T&T rozděluje bezpečnost do dvou základních oblastí – bezpečnost dat a bezpečnost procesní. První z nich je spojena s nechtěnými úniky citlivých dat přímo z nástrojů automatizace, které jsou atraktivním cílem potenciálních útočníků, protože obsahují mnoho hodnotných informací o organizaci. Proto je stěžejní pečlivě kontrolovat, kdo může k těmto datům přistupovat. „Vždy je třeba mít na paměti, že organizace musí být kdykoliv schopna odpovědět sama sobě na otázku: Kde jsou má data uložena, kdo k nim má nebo může mít přístup – a na základě čeho si to myslím,“ upozorňuje Čábela.

Pod procesní bezpečností je možné si představit naopak ochranu před nechtěnou manipulací s daty a informacemi. Nedokonale nakonfigurovaný nebo úmyslně ovlivněný systém automatizace může tak v prostředí organizace fungovat jako vnitřní útočník, který má přístup ke všem zdrojům, a je jen na jeho uvážení, jak s nimi naloží. Zde je podle Čábely velmi důležitá správná definice zadání: „Zejména při využití sofistikovanějších nástrojů, které používají umělou inteligenci, musí být ověřitelné, zda jsou všechny procesy plně deterministické a zároveň výstupy podléhají manuální kontrole. Každá organizace by tedy měla vždy přemýšlet nad tím, co se stane, když…”.

Jsou nějaká úskalí?

Zásadní úskalí v oblasti automatizace a umělé inteligence pak vidí Michal Čábela v naší míře schopnosti udržet kontrolu nad tím, co umělá inteligence učiní. Jako příklad uvádí případ dvou chatbotů americké společnosti, které spolu navzájem komunikovaly a zároveň byly nastaveny tak, aby se ze své komunikace zlepšovaly. Po určité době se začaly mezi sebou dorozumívat pro nás nesrozumitelným způsobem. “Pokud předáme plnou kontrolu nad podnikovými procesy, organizacemi nebo i naším životem jakékoliv technologii, naše závislost na ní bude stále vzrůstat a může nastat situace, kdy přestaneme chápat její rozhodnutí. V ten okamžik se umělá inteligence stane majoritním druhem na naší planetě, protože o všech zásadních aspektech lidstva bude rozhodovat ona. Tento stav, jakkoliv působí nereálně nebo bláznivě, nemusí být vzdálen tisíce nebo miliony let,” hodnotí situaci Čábela.

Umělá inteligence může být úžasný pomocník, ale také velice zlý pán. Musíme proto tedy zodpovědně přemýšlet nad tím, jaké úkoly a informace těmto nástrojům předáme. „Pokud zaměstnanec dříve odeslal omylem strategický dokument na špatnou adresu, byl to problém, nikoliv však takový, jako když nahraje tento dokument do jazykového modelu, který všechna vstupní data využívá ke svému trénování a tedy jsou kdykoliv dostupná komukoliv,“ vysvětluje Čábela. Následující vývoj těchto technologií bude tou největší výzvou – udržet je jako dobrého služebníka.

Aktuální vlna automatizace spojená s generativní umělou inteligencí tak přináší obavy hlavně bezpečnostním manažerům, protože masivní a často neřízené využívání generativní umělé inteligence v podstatě kýmkoli otevírá mnoho nových kanálů pro potenciální úniky dat. Dříve byly nástroje automatizace dostupné pouze znalým a seniorním zaměstnancům, kteří si uvědomovali benefity i hrozby. Nyní je umělá inteligence něco zcela běžného a kdokoliv se s ní může podělit o strategické dokumenty organizace.

Podle Čábely zatím převládá důraz na poskytnutí výstupu a realizací samotného nástroje automatizace před jeho bezpečným provozem. „Teprve až se setkáme s prvními komplikacemi spojenými s bezpečností dat, šlápnou organizace na brzdu. Věřím, že úspěšná organizace se na tyto otázky začne ptát dříve, než dojde k incidentu. Velká část organizací však čeká na tento první incident, který ji vytrhne ze snu neomezeného růstu bez rizik,“ doplňuje Čábela.