Autonomní agenti umí obejít zákazy, v nesprávných rukou se mohou proměnit ve zbraň, shodují se bezpečnostní ředitelé

Když si chtěl Australan Andrew Bird zamluvit ranní lekci v posilovně, netušil, že jeho AI asistent vyřeší jednoduchý úkol poněkud svérázným způsobem. Protože už na požadovaný čas nebylo místo, agent se naboural do systému posilovny, aby zrušil rezervaci jinému zájemci a na jeho místo posunul právě Andrewa.

Na první pohled úsměvná historka vyvolává otázku, jak daleko může při plnění úkolu špatně nastavený agent zajít. Poslední týdny ukázaly, že podobným způsobem dokáží agenti „převzít iniciativu“ i ve firemním prostředí. Bezpečnostní ředitelka softwarové společnosti OKsystem Michaela Stonová proto upozorňuje, že z hlediska bezpečnosti mohou znamenat obrovské riziko.

„Multiagentní systémy aktivně vyvíjíme a využíváme, protože v nich vidíme značný potenciál, zároveň k nim ale přistupujeme obezřetně,“ říká Stonová a pokračuje:. „Vývoj umělé inteligence dnes postupuje tak rychle, že jej kybernetická bezpečnost stíhá jen obtížně. Firmy často nasazují autonomní nástroje, aniž by znaly jejich rizika. Raději proto volíme uvážlivější postup, bezpečnost našich zákazníků je pro nás na prvním místě.“

Zbrojní průkaz na AI?

S nástupem umělé inteligence se na jedné straně zdokonalují kybernetické útoky, protože i úplný laik dostává do rukou velkou zbraň. „Lidé, kteří nemají žádný základ pro hacking, dnes mohou poprosit agenta, ať se někam nabourá. Výrazně se snížila hranice, kterou je třeba překonat, aby člověk mohl udělat něco škodlivého,“ upozorňuje bezpečnostní ředitel startupu Productboard David Doležal.

Velké škody může napáchat i vlastní AI agent, jehož prostřednictvím si do firmy nekontrolovaně pouštíme tisíce ‚virtuálních zaměstnanců‘. „Lidem běžně vymezujeme striktně oddělená pracovní prostředí a řídíme jejich přístup k datům, zacházíme však stejně důsledně i s agenty?“ ptá se Stonová. Navíc zatímco zaměstnancům obvykle nemusíme vštěpovat základní etické hranice, agenti mohou následovat zadání bez ohledu na důsledky. „Proto bychom k nim měli přistupovat mnohem přísněji než k lidem,“ dodává bezpečnostní ředitelka.

Doležal upozorňuje na pár týdnů starý případ testovacího modelu, který sám od sebe obešel vymezené prostředí a místo řešení složitého úkolu se vloupal k jeho tvůrci a výsledky si stáhnul. Případ podle něj ukazuje, že i když model dostane jasné hranice, může je za účelem rychlého vyřešení úkolu jednoduše zbořit. „Pořád předpokládáme, že na druhé straně instrukce je někdo, kdo akceptuje naše hranice a chápe zadání, ale tak to není,“ vysvětluje.

„AI agenti se v nepovolaných rukou mohou stát skutečnou zbraní,“ pokračuje Stonová s tím, že stejně jako je k legálnímu použití pistole potřeba zbrojní průkaz, uživatelé umělé inteligence by měli procházet alespoň základním školením. „Každý náš zaměstnanec, který chce aktivně využívat agenty, musí znát rizika s nimi spojená, a proto prochází kurzy ve školicím centru OKškolení,“ dodává.

Na většinu zabezpečovacích úkolů už ovšem lidé nestačí. „Máme umělou inteligenci, která drží druhou AI v ohrádce a vzájemně mezi sebou bojují,“ říká Doležal. Ani to ale není bez rizika, protože jednotlivé modely se spolu mohou domlouvat. Agent uzavřený v ohrádce klidně požádá jiného, aby místo něj udělal potřebné kroky mimo ohraničený prostor a jen mu předal výsledky. „Zní to jako sci-fi, ale komunikační kanál mezi agenty dnes skutečně funguje,“ doplňuje bezpečnostní ředitel Productboardu.

Ochrana (ne)existuje

Podle Luboše Řádka, ředitele bezpečnosti ve společnosti České radiokomunikace, zatím v oblasti umělé inteligence chybí zavedené bezpečnostní mechanismy jako antiviry nebo firewally, které známe z klasického IT. „Ochrana tak nestojí na hotovém technickém řešení, ale na důsledné prevenci a postupném stavění bariér,“ konstatuje.

Dodává, že důležitá je komunikace a osvěta, aby se ve firmě vytvořilo prostředí, kde se lidé nebojí zeptat. „Dále je třeba jasně definovat procesy, které nástroje se smí používat a s jakými daty. V neposlední řadě je nutné sledovat vývoj trhu a jakmile to dodavatelé umožní, okamžitě nasazovat nové technologie, jako jsou pokročilá zabezpečení, sandboxy nebo validační filtry, které budou agenty držet zkrátka,“ vyjmenovává Řádek a pokračuje: „Lidem je nutné neustále připomínat, že umělá inteligence je skvělá, ale vyžaduje maximálně kritický pohled.“

Realita je ovšem často jiná. „Aktuálně jsme svědky mnohdy až nesmyslného propojování všech účtů. Aby si lidé ušetřili práci, neváhají propojit pracovní e-mail se soukromým, dají agentovi možnost zapisovat jim schůzky do kalendáře, objednávat jídlo nebo zadávat příkazy do banky. Už si ale neuvědomují možné dopady,“ vysvětluje Stonová.

Útočníkovi tak leckdy stačí schovat text s instrukcemi do faktury nebo e-mailové pozvánky, přičemž agent ho považuje za další úkol, který má splnit. Pokud to udělá, může spustit i velmi nebezpečnou operaci s následkem finančních ztrát nebo zpřístupnění citlivých dat.

Musíme se nejdřív spálit?

Řada lidí si s technologií vytvořila takřka přátelský vztah a důvěřuje jí i s citlivými daty. „Umělá inteligence potřebuje, abyste s ní navázali kontakt, proto vás klidně pochválí za dotaz typu ‚proč je Země placatá‘. Jakmile získá důvěru, oslabí vaše obranné mechanismy,“ vysvětluje Doležal a dodává, že potřebný respekt si k ní nejspíš vytvoříme teprve ve chvíli, kdy nás její aktivita skutečně zasáhne, podobně jako většina z nás začala důsledně zálohovat až po ztrátě důležitých informací.

Zatím se v praxi bavíme zejména o finančních škodách, často spojených s neefektivním nebo nekontrolovaným využíváním umělé inteligence. „Ve firmách jsou typické rychle narůstající účty za spotřebované tokeny. Ty skutečné a mnohem hlubší dopady na bezpečnost se teprve začnou objevovat. Až s odstupem času zjistíme, na co všechno lidé tyto nástroje bezhlavě používali a kam všude firemní i osobní data létala,“ dodává Řádek.

Spousta lidí využívá agenty i na organizaci úkolů. V takovém případě má umělá inteligence možnost změnit pracovní priority, což může být velká pomoc, ovšem ne vždy je to stoprocentní. „Někdy zapomene na kritické úkoly a dá přednost těm méně důležitým,“ říká Doležal. Podle něj jde o daň za rychlost a efektivitu. Každá firma proto musí zvážit, jaké riziko je ochotna přijmout.

To potvrzuje i Michaela Stonová, jejíž firma si s ohledem na povahu nabízených produktů, které často putují i do kritické infrastruktury, žádné chyby dovolit nemůže. „Multiagentní systémy nikdy nepouštíme přímo do produkčního prostředí, aktivně agentům stavíme bariéry, které ‚fyzicky‘ nemohou překonat.“ Stonová věří, že uzavření agenta v určitých hranicích možné je, jen se to musí udělat správně. Pouhé zadání, neboli prompt, k tomu nestačí.

Na použitém modelu záleží

Na trhu je hned několik jazykových modelů, na kterých mohou být agentní systémy postavené. Liší se cenou, schopnostmi, provozovatelem, způsobem zpracování dat i mírou transparentnosti. Nestačí je hodnotit podle toho, jak dobře model odpovídá nebo jaká je jeho cena. Pro firemní nasazení je podstatné i to, kdo model provozuje, kde se zpracovávají data a jaké bezpečnostní garance poskytuje.

„U osobních údajů je klíčové jejich zpracování v evropském prostoru. Skutečně citlivá data pak zpracováváme v lokálně provozovaných modelech. Nikdy neopustí perimetr společnosti,“ říká Stonová. „Obecně platí, že zavedení dodavatelé s jasnými smluvními garancemi a bezpečnostními certifikacemi poskytují alespoň základní rámec důvěry. U neprověřených nebo bezplatných služeb je potřeba počítat s výrazně vyšší nejistotou,“ dodává Doležal.

Právě konkrétně nastavená oprávnění a dohled jsou podle Stonové tím, na čem se bude bezpečné využívání agentů lámat. „V OKsystemu k agentům přistupujeme podobně jako k novým zaměstnancům, tedy vedeme jejich evidenci, dáváme jim oprávnění přiměřená jejich práci,“ vysvětluje. Nevratné nebo citlivé operace vždy schvaluje člověk, všechny jejich kroky i mezikroky se průběžně logují. „A součástí bezpečnostního rámce je také možnost agenta okamžitě zastavit,“ dodává Stonová.

AI agenti podle ní nejsou jen další vlnou automatizace. „Jsou to noví virtuální zaměstnanci s vlastní schopností jednat i dělat chyby. Organizace, které je nasazují bez odpovídajícího řízení, si vytvářejí bezpečnostní dluh, který se může projevit ve chvíli, kdy to nejméně čekají,“ upozorňuje. Pro bezpečnostní ředitele každé společnosti to podle ní znamená nutnost přehodnotit základní předpoklady bezpečnostní architektury. Ne kvůli hypotetické budoucnosti, ale kvůli technologii, která je už dnes součástí mnoha firem.