Jednání o závěrečné podobě regulace umělé inteligence (AI Act), probíhalo na poměry Evropské unie dramaticky, jednání trvalo dlouhých 37 hodin. Vyjednavači po uzavření dohody oslavovali fakt, že Evropská unie je prvním místem na světě, kde byla obdobná regulace schválena. „Jsem přesvědčená o tom, že AI musíme regulovat globálně a že je daleko lepší, když ta pravidla udává demokratický svět než svět, který chce pomocí AI docílit absolutní kontroly nad společností. Proto jsme první,“ říká v rozhovoru pro e15 místopředsedkyně Evropské komise pro hodnoty a transparentnost Věra Jourová, která se do vyjednávání zapojila.
Závěrečný trialog týkající se regulace umělé inteligence neboli AI Actu trval 37 hodin. Nastal během tohoto maratonu nějaký moment, kdy to vypadalo, že se nedohodnete?
Bylo tam několik takových momentů. Umíte si představit, že když tam sedí španělská ministryně jako zástupkyně 27 unijních států a má limity mandátu, co může dostat do kompromisu, a proti ní sedí několik frakcí z Evropského parlamentu, které mají každá jiné zájmy a priority, tak samozřejmě že několikrát zaznělo, že není možné pokračovat, protože červené linie se nepřibližují. Takových chvil tam bylo asi pět nebo šest, ta poslední asi 10 minut před koncem.
Ale to je zkrátka taková psychologie trialogu, vždy se odehraje nějaké drama. Každá strana si musí přinést domů co nejvíc. Evropská komise hraje roli férového zprostředkovatele, tedy někoho, kdo je k dispozici a přiklání se k jedné či druhé straně a zabrání nečekaným nápadům na poslední chvíli, které by mohly mít neblahé dopady. Takové chvíle také byly a raději bych na ně zapomněla.
Vnímáte AI Act jako něco, co by mělo unijní občany před něčím bránit či chránit, nebo jako něco, co má pomoci rozvoji, stanovit pro vývoj jasná pravidla, a tím ho třeba i urychlit?
Pokud mám na výběr z těchto dvou možností, tak primární úkol je zajistit bezpečnou umělou inteligenci, která se nevymkne lidské kontrole. Snaha nebrzdit inovace v tomto případě zaznívá neustále, je to promítnuté do textu. Ověřování a zkoušení vyžadujeme jen v míře, která je nutná. V zásadě velmi přísné testování jsme nasměrovali k vývojářům největších systémů typu ChatGPT a pro ně platí opravdu přísná pravidla pro testování pod dohledem vědecké scény.
Dosud to bylo hodně v rukou technologů, ale my jsme přesvědčeni, že zejména u těch velkých modelů je potřeba, než se to vypustí na veřejnost, aby k tomu řekli své technologové, vědci i politici. Dá se říct, že tam je vysoká míra dohledu nad největšími modely, vztahuje se to momentálně na ChatGPT a model Gemini od Googlu, jelikož splňují parametry. Vše, co je menší, bude podléhat méně přísnému testování, nebo dokonce žádnému. Parametry současných modelů jsme brali v potaz, když jsme popisovali nejvýkonnější systémy a pravidla pro ně. Snažili jsme se, abychom nebojovali minulé bitvy, chtěli jsme se více dívat do budoucna.
AI Act
Evropská unie na regulaci umělé inteligence (AI) začala pracovat v roce 2018, o tři roky později předložila Evropská komise konkrétní návrh legislativy. Nová pravidla stanoví podmínky pro vývoj i použití umělé inteligence, které se rozlišuje podle míry rizika. Regulace zakazuje využití umělé inteligence například pro rozpoznávání identity v reálném čase, metody pro předpovídání zločinnosti občanů nebo tzv. social scoring. Kritici zejména z řad byznysu upozorňují na riziko omezení byznysových příležitostí, která nová technologie otevírá. Dosud totiž většina významných firem oboru pochází ze Spojených států. Regulace by měla začít platit za dva roky.
Takže jste AI Act tvořili tak, abyste zasáhli dnes známé modely, jako je právě ChatGPT?
Ano, přesně tak. AI Act nemá obdoby v historii EU z hlediska toho, jak se psal. Návrh Evropské komise jsme schvalovali v dubnu 2021 a bylo to šito na míru regulaci AI k určitému účelu. Dělali jsme seznam vysoce rizikových užití AI podle oborů, šlo například o zdraví, životní prostředí, bezpečnost nebo lidská práva. Dívali jsme se na možnost rizikového využití člověkem.
Pak přišel ChatGPT a my jsme zjistili, že jsme konfrontováni se zcela novou situací, kdy technologie už sama o sobě může být riziková, aniž by se jí určil směr využití. V tom je AI Act unikátní – kapitolu o tom, jak dát těmto vysoce výkonným systémům limity, jsme psali pro úplně novou situaci.
Zmínila jste sama, že komise navrhla regulaci už v roce 2021, na materiálu se pracovalo už od roku 2018. Během těch let došlo v tomto oboru k poměrně velkým změnám. To, co víme teď o AI, jsme před rokem nevěděli. Nedochází tím pádem k regulaci něčeho, čemu nerozumíme?
Dochází. Tváří tvář úplně novému, zdálo by se futuristickému modelu v podobě ChatuGPT, který si může žít svým vlastním životem a být použitý k čemukoliv, jsme museli překročit Rubikon a ujasnit si, že i když regulujeme něco, co nikdo neví, co je, a hlavně co to může být, tak si nemůžeme dovolit promarnit okamžik, kdy se ještě tomu něčemu neznámému dají nastavit pravidla, která zajistí bezpečnost. Ano, regulovali jsme něco, co nemáme ohmatané a co se ještě neprojevilo jako nebezpečné. Přistupovali jsme k tomu tak, že až se to tak projeví, bude pozdě.
To není hlas hysterického člověka, protože my jsme k tomu nepřistupovali jako k hororu. Chceme umělou inteligenci rozvíjet, chceme podporovat technologie, ale správným a bezpečným směrem. Ano, regulujeme něco, co nelze předem ohodnotit z hlediska rizika a to se odráží na textu legislativy. Vůbec to uznání, že technologie sama o sobě není neutrální, ale může být bez konkrétního účelu nastaveného člověkem riziková, je také nová věc. Byly kolem toho velké tlaky, myslím, že to byl jeden z nejvíce lobbovaných zákonů. Jsou v tom miliardové zájmy, vstupují do toho dva koncepty z vědecké scény, tedy nechat to na volném vývoji versus zarazit to v zárodku a stanovit tvrdá pravidla.
Když se AI Act schválil, vaši kolegové hodně zdůrazňovali, že je skvělé, že EU je první v oblasti regulace umělé inteligence. Proč je to důležité? Nebylo by lepší si počkat, až to zkusí jinde a pak se z toho poučit? AI přece není jen o rizicích, ale také hodně o příležitostech, které může otevřít.
Čína už to udělala, a to pro nás není úplně dobrá zpráva. Jsem přesvědčená o tom, že AI musíme regulovat globálně a že je daleko lepší, když ta pravidla udává demokratický svět než svět, který chce pomocí AI docílit absolutní kontroly nad společností. Proto jsme první. Ale nejsme jediní v cílové rovince, vidíme, že jsou další státy včetně Spojených států, které čekají, s čím přijde EU, a budou dříve či později následovat.
USA mají kodex pro technologii, který je velmi podobný kodexu z jednání G7, zavázalo se tím řídit 19 velkých firem, které dělají na systémech generativní AI. Zároveň prezident Biden vydal nařízení, které stanovuje pokyny pro fungování těchto oborů, aby například Spojené státy nepodporovaly vznik nějakých nebezpečných systémů. Je důležité, že je EU první, protože se od nás očekává, že budeme následovat řadu prvenství v regulaci technologií.
My jsme totiž výjimeční v tom, že technologie se v EU nebudou využívat pro podporu mocenského státu a zároveň technologie v EU nejsou pod tak velkým tlakem byznysu jako v USA, kde vznikly všechny velké firmy a kde mají byznysové zájmy velmi velkou sílu. Možná proto také regulátoři v USA čekají a EU je pro ně vždy zajímavou inspirací.
Právě v USA působí v oboru AI lídři jako OpenAI nebo Anthropic, v EU žádná taková firma není, jsou tu mnohem menší a mladší startupy. Nehrozí, že schválená regulace zbrzdí rozvoj těchto firem?
Regulujeme, ale zároveň také investujeme veřejné peníze, které mají zvýšit apetit investovat další soukromé zdroje. Investujeme také do výzkumu, což nemá ve světě obdoby, tyto peníze musejí přijít na správná místa, centra excelence jsou pro nás zásadní. Máme největší počet superpočítačů ve srovnání s ostatními částmi světa, jejich výpočetní výkon chceme dát k dispozici právě startupům a malým firmám, kterým také chceme dát snazší přístup do cloudu.
Naše strategie nyní nesměřuje k podpoře jednoho nebo dvou velkých hráčů srovnatelných s Googlem, ale spíše chceme, aby se firmy rozvíjely v této oblasti ve všech členských zemích, aby zase nebyli vítězové a poražení, musíme se také dívat na geografické rozpoložení, abychom byli schopni konkurovat. Myslím, že by náprava monopolů v EU mohla hodně postrčit dopředu unijní byznys.
Tisková zpráva po ukončení trialogu naznačuje jiné podmínky pro malé firmy, včetně regulačních sandboxů, tedy mechanismu, kdy regulátor vytvoří kontrolované prostředí pro vývoj určité technologie. Mohla byste popsat, jak to bude pro menší firmy fungovat?
Sandbox bych popsala jako speciální režim pro malé a střední firmy, aby se popraly s úskalím, které přináší regulace. Není to úleva z pravidel, spíše je to technologická a právní podpora. Nebude to poskytovat AI Office, který vznikne v Bruselu a bude se zaměřovat na ty velké systémy. V tomto případě se spoléháme spíše na instituce, které vzniknou na úrovni členských států a budou blíž firmám.
Takže by v každé zemi měl fungovat sandbox pro firmy vyvíjející AI systémy?
Měly by vzniknout národní úřady pro umělou inteligenci, které by měly fungovat podobně jako úřady na ochranu osobních údajů. Budou to klasické kontrolní orgány, které by ale ještě navíc měly fungovat také jako poradci. Jsou to vše nové věci a my chceme, aby na to firmy z EU naskočily co nejdříve za co nejmenších bariér.
V případě vymáhání pravidel se u GDPR často mluví o tom, že národní regulátoři jsou různě přísní, což je pro regulaci takového rozsahu poměrně problémové. Došlo v tomto případě k nějakému poučení u AI Actu?
Oproti GDPR jsme upustili od velmi decentralizovaného systému už v případě nařízení o digitálních trzích (Digital Markets Act – pozn. red.). Stejně tak je v případě AI Actu velmi silná centrální úroveň. Kromě toho, že bude řešit dohled nad bezpečností výkonných systémů, bude také koordinovat práci národních úřadů, aby nedocházelo k různému systému vymáhání pravidel.
Takže AI Office bude skutečně velký unijní úřad s širokým záběrem?
Počítáme, že tam bude kolem sta lidí, musí to být experti, kteří budou dokonale znát taje umělé inteligence. Úřad by měl zajistit fungování vědeckého panelu, který by měl spolupracovat s úřady také ve Velké Británii a Spojených státech, na čemž jsme se nedávno dohodli právě na AI Summitu o bezpečnosti v londýnském Bletchley. To jsou věci na centrální úrovni, které se na národní dělat nedají, čím větší technologie, systém a čím větší zásah, tím je větší nutnost udělat jedno silné centrum, které bude vymáhat pravidla. Ale zároveň nerezignujeme na vymáhání pravidel na národní úrovni.
Zaregistroval jsem také, že by se nová pravidla neměla vztahovat na export. Proč tomu tak je?
Na export se pravidla nevztahují, ale na import každopádně ano, díky čemuž chráníme naše občany. Předpokládáme, že si podobná pravidla stanoví i všichni další, pokud budou chtít mít bezpečnou AI. V tuto chvíli pro nás není primární, co se bude dít mimo EU, pro nás je důležité, co se bude uvádět na unijní trh, a na to se ta pravidla zaměřují.
Věra Jourová
V roce 2014 se stala komisařkou pro spravedlnost, ochranu spotřebitelů a otázky rovnosti pohlaví, v roce 2019 pak místopředsedkyní Evropské komise pro hodnoty a transparentnost. Do Bruselu odcházela z funkce ministryně pro místní rozvoj. Na tomtéž ministerstvu pracovala v letech 2003 až 2006 jako náměstkyně. V roce 2006 byla obviněna z přijímání úplatku a měsíc strávila ve vyšetřovací vazbě. O dva roky později státní zastupitelství stíhání zastavilo s tím, že skutek, za který byla vyšetřována, se nestal. V roce 2012 úspěšně dokončila studium na Právnické fakultě Univerzity Karlovy.
List The Economist popsal finální dohodu jako „nepřehledný kompromis“. Je tam spousta výjimek, jako v případě predictive policing, tedy předpovídání zločinnosti jedinců, kdy je tato praktika zakázaná, ale to neplatí pro vytváření databází a analýz. Například v případě rozpoznávání emocí, které je zakázáno na pracovištích, jsou opět výjimky pro dohled nad usínáním řidičů. Není ta finální verze až příliš kompromisní a matoucí?
Musíme mít na paměti, že teď nemáme nic. Žádné zarážky, žádná pravidla, žádná omezení využití AI pro bezpečnostní složky, které mají monopol na vymáhání všeho možného, proto je ten kompromis historický úspěch. Výjimky ukazují, že život není černobílý a že zkrátka totální zákazy by totálně omezily možnost bezpečnostních složek pro vyšetřování závažných trestných činů, jako je terorismus. Zároveň by to učinilo přítrž využití technologie pro dobrou věc.
Hlídání ostražitosti řidiče v dopravě je v zájmu nás všech. Neustále jsme lavírovali na tom, co je nebezpečné a kde se musejí udělat výjimky. Typicky jde o přípravu teroristického útoku, případně hledání ztraceného dítěte a podobně. Myslím, že všichni budeme souhlasit, že v takových případech je potřeba mít tyto technologie k dispozici, aby se využily pro dobro lidí. Zákazy jsou opravdu rozsáhlé.
Nemohou tyto výjimky ve výsledku způsobit, že se AI bude využívat i ve věcech, kde to je zakázáno? Může to být někdy lehce vágní, jako například v případě pojmu národní bezpečnost, se kterým AI Act pracuje.
Bude tam dohled ze stran úřadů, ale zároveň jsme tam dali možnost vznést stížnosti proti zneužití proti individuálním osobám.
Věříte, že bude EU lídrem v AI?
Myslím, že bude lídrem v AI, která neškodí lidem, je bezpečná a prospěšná. Mám možnost se bavit se šéfy velkých firem, v Londýně jsem se setkala se Samem Altmanem z OpenAI. Když jsem potom sledovala, co se s ním dělo, tak jsem si uvědomila, že osud lidstva může být v rukou jednotlivců a že ten systém nesmí být takto zranitelný. Tedy že v nějaké firmě, která má v ruce červené tlačítko, se stane personální změna, a lidstvo tím utrpí škodu. I proto jsme se tato pravidla snažili přijmout co nejdříve.
