Falešný prezident a firemní podvody. Spouští se obojek pro umělou inteligenci
Podvodů s využitím deepfake strmě přibývá a firmy i jednotlivci kvůli nim přicházejí o miliony.
- Od 2. srpna proto začíná v EU platit povinné označování obsahu vygenerovaného umělou inteligencí.
- Změny zásadně dopadnou i na české e-shopy, které musí zákazníkům nově přiznat komunikaci přes AI chatboty.
Může to vypadat jako historka z pravěkých dějin internetu, ale stará je teprve dva roky. Postava prezidenta Petra Pavla ve falešném videu vybízela k investicím do kryptoměn, policisté pak zaznamenali případy, kdy se lidé nachytali. Regionální deníky přinesly třeba zprávu o ženě z Děčínska, která přišla o jeden a půl milionu korun. Nyní začíná platit povinnost označovat obsah generovaný umělou inteligencí, která má podobné podvody, včetně manipulativních řetězových zpráv, eliminovat.
Takzvané deepfake se valí na naivní uživatele internetu. Jejich počet každoročně roste o stovky procent, v roce 2024 to bylo více než 780 procent, jak uvedla Česká asociace umělé inteligence. Nemusí jít přitom jen o falešné zprávy z krizových zón na Ukrajině nebo v Gaze, podle dat Výzkumné služby Evropského parlamentu (EPRS) se téměř 50 procent firem v Evropě setkalo s pokusem o podvod využívajícím hlasový nebo video deepfake.
První velký případ je znám od roku 2019. Ředitel britské dceřiné společnosti energetické firmy obdržel telefonát od muže, jehož hlas, přízvuk i intonace dokonale odpovídaly jeho nadřízenému – generálnímu řediteli mateřské firmy v Německu. Falešný CEO požadoval urgentní převod 220 tisíc eur maďarskému dodavateli během jedné hodiny. Peníze byly odeslány a následně přesunuty do Mexika a dalších neznámých destinací. Jména firem i osob zůstala v anonymitě, na veřejnost se dostala v této podobě ze zprávy pojišťovny, která vyřizovala škodu.
Dost ale historie. Od 2. srpna musí být v EU obsah upravený či generovaný AI označen kvůli AI Actu, který byl schválen v roce 2024. V praxi má věc fungovat tak, že platformy generující například AI obrázky, jako je Midjourney, DALL-E 3, Adobe Firefly nebo ChatGPT, do souboru automaticky zapíší neviditelná metadata a digitální vodoznaky. Když se takový obrázek či video nahraje na sociální sítě, jejich mechanismus jej přečte a označí obsah štítkem.
Odpovědnost je ale na uživateli, protože vyhnout se automatickému označení se dá třeba tím, že využije některou z lokálních platforem, která digitální vodoznaky do AI videí a obrázků neukládá, nebo systém obejde, když vytvoří snímek obrazovky s generovaným obsahem.
Změny se ale netýkají jen velkých technologických firem, dopadají i na domácí byznys. Mezi novinky s nejviditelnějším dopadem patří podle advokáta poradenské firmy Rödl Jaroslava Kuby informování o tom, že zákazník komunikuje prostřednictvím chatbotu či virtuálního nebo hlasového asistenta s umělou inteligencí. „Totéž platí pro AI agenty, kteří samostatně například rezervují, objednávají nebo vyřizují korespondenci: podle čerstvých pokynů Evropské komise musí prozradit nejen, že jsou umělou inteligencí, ale i za koho jednají,“ dodal Kuba.
A ne všechny firmy na to jsou připraveny. Heureka, která v České republice spolupracuje s více než 50 tisíci e-shopů, například upozorňuje, že nové povinnosti se mohou týkat i běžných internetových obchodů. „Pokud provozujete e-shop s AI chatbotem pro zákaznickou podporu nebo používáte umělou inteligenci při tvorbě obsahu, měli byste si ověřit, jakou roli zastáváte a jaké povinnosti se na vás vztahují. Nejde přitom jen o to, zda AI používáte, ale také o to, zda přesně víte, kde a jak ji využíváte,“ říká Stanislav Sopko, šéf produktu a vývoje v Heureka Group.
Na nedostatečnou orientaci firem v oblasti umělé inteligence upozorňují data Eurostatu. Pro téměř 54 procent podniků, které zavedení AI zvažovaly, představovala překážku nejasnost právních důsledků a 53 procent mělo obavy z možného porušení pravidel ochrany osobních údajů a soukromí.
AI Act začne platit postupně, nyní jde o užší okruh pravidel. Ta pro vysoce rizikové AI systémy se posunula na konec let 2027 a 2028. „Firmy by si ale neměly plést zpoždění regulace s odkladem bezpečnosti. Odkladem firmy získají čas na administrativu, ale budování důvěryhodných systémů nepočká,“ upozorňuje Anton Arapov, ředitel OpenSSL Corporation.
