Umělou inteligenci (AI) považuje zakladatel startupu Resistant AI Martin Rehák za technologii, která změní svět, a proto se jí už několik let věnuje. Nyní ovšem vidí riziko možné regulace, která by podle něj rozvoji AI značně uškodila. „Budeme si o deset let déle bránit některá pracovní místa, ale ve výsledku to bude znamenat, že postupně přijdeme o všechna pracovní místa,“ říká v rozhovoru pro E15 expert o vznikající evropské legislativě, která by měla regulovat použití AI.
V prosinci loňského roku schválily členské státy pozici ohledně AI aktu, minulý týden se to povedlo Evropskému parlamentu (EP). Jaký z těch návrhů považujete za lepší?
Přijde mi, že pozice EP je více realistická, řeší některé problémy, které měly návrhy Evropské komise (EK) a členských států. Ani tento návrh se ovšem nezabývá základními problémy, které tato legislativa má. Regulujeme něco na základě znalostí, které jsou neúplné, nevíme, jaká jsou rizika, a ani nevíme, jestli jsou realistická. Ekonomika se pravděpodobně transformuje podobně jako díky vynálezu parního stroje. EU se rozhodla, že v rámci této transformace budeme pozadu. Je to stejné rozhodnutí, jako udělali Britové na konci 19. století, které vedlo k tomu, že se z Británie, která byla nejbohatším státem na světě, stal až druhý nejbohatší stát.
Na co narážíte?
Když se naskytla možnost rozvíjet železnici a s ní spojené průmyslové zpracování potravin i průmyslových výrobků, tak se Britové rozhodli, že je perspektivnější neměnit to, co funguje v Británii, a raději investovali ve Spojených státech. Nebylo to státní rozhodnutí, došli k tomu britští investoři. Kvůli tomu Británie začala zaostávat. Ačkoliv se jejich investice vyplatily a velmi úzká část společnosti bohatla, tak nebohatla celá společnost.
Návrh EK a členských států dává smysl v případě, že jsme se rozhodli, že evropské firmy už prohrály. Pokud jsme se rozhodli, že evropské firmy prohrály a že velká část přidané hodnoty odejde do USA a do Číny, kde jim regulátoři takové meze nekladou, tak to dává smysl a můžeme vývoj zpomalit. Pokud ale má mít evropská ekonomika šanci a Evropa má mít mezinárodní vliv, tak ta legislativa jde proti tomuto cíli. Pokud si konkurují dvě společnosti, kdy jen jedna z nich efektivně používá AI a druhá ne, tak je zřejmé, která z nich vyhraje. Budeme si tedy o 10 let déle bránit některá pracovní místa, ale ve výsledku to bude znamenat, že postupně přijdeme o všechna pracovní místa.
Neprohráli jsme náhodou už tento boj? Většina lídrů trhu je americká.
Zatím ne, protože většina AI systémů má původ v USA, ale stavějí je Evropané. Velká část AI týmů Facebooku, Googlu nebo Microsoftu jsou Francouzi z nejlepších tamních škol. Zaostávání Evropy je víceméně důsledkem politického rozhodnutí. Není to o tom, že by Evropané byli hloupější, to jen Evropa se rozhodla, že bude komplikovat inovace.
Působíte přímo v oboru. Jaká konkrétní komplikace hrozí v případě přijetí nejpřísnější možné verze AI aktu?
V případě AI systémů s vysokým rizikem jde ve své podstatě o všechny systémy, které mají nějaký ekonomický význam. Existuje několik variant, jak je regulovat, ale velká část z nich znamená, že to, co dnes probíhá šest minut, tak by podle nových pravidel trvalo šest měsíců. Místo toho, abychom rychle nasadili novou verzi a odstranili chyby, tak v Evropě bychom teoreticky měli systém předat úřadům, které by celý systém prošly, zkontrolovaly a následně nám dovolily nasadit novou verzi na trh. To by v našem případě znamenalo, podle dvou ze tří diskutovaných návrhů, že zatímco američtí a asijští zákazníci budou chráněni, tak ti evropští by si mohli užívat půl roku podvodů, než nám dovolí nasadit novou verzi. To samozřejmě nedává smysl.
V případě, že by to hlídala státní správa, tak bychom jí každých pár minut posílali novou verzi našeho systému. Asi nemají úplně šanci se s tím vypořádat. Legislativa nereflektuje, jak rychle vývoj postupuje a to, jak se jednotlivé systémy nasazují a aktualizují. Představují si, že jednou za dva roky nasadíte novou verzi, jako kdybyste představovali nové auto. Tohle ale nejsou auta.
Takže vy považujete celý mechanismus, tedy roztřídění jednotlivých systémů podle úrovně rizika, za chybný?
Nemyslím si, že to je chybné, ale že kategorizace systémů je poměrně náhodná. Stejným způsobem regulujeme velmi rozdílné systémy jako autonomní vozidla a cloudové systémy, které jsou neustále pod dohledem lidí, nemohou nikoho fyzicky ohrozit a musejí se vyvíjet velmi rychle, protože se svět kolem nich velmi rychle mění. AI akt je dává do jednoho pytle.
Takže tam jsou podle vás špatně nakreslené hranice?
Ano. A kolegové, kteří řeší systémy typu ChatGPT, zase říkají: vy nás sice regulujete, ale vlastně nevíte proč. V návrzích je celá sekce o tom, jak regulovat základní modely, ale nikdo zatím neřekl, jaká specifická rizika máme u nich pokrývat. Pokud se používají k tomu, že transformujete nějaký pětibodový koncept do uceleného textu, tak ta rizika jsou poměrně mělká a jasně popsatelná. Není vlastně jasné, že ta regulace přinese nějaký reálný přínos. Vypadá to spíše tak, že se objevilo něco nového a oni o tom nic nevědí, proto to rychle zahrnuli do samostatné kapitoly, aby se to regulovalo.
Zařazení základních modelů do regulace, což je reakcí na rozmach ChatGPT a dalších systémů, považujete také za škodlivé?
Není to podložené analýzami rizik. Reálně s nimi máme zhruba pět měsíců zkušenost a zatím jsme nebyli svědky nějakých šokujících výsledků. Jediným překvapením je, že modely, které jsou filozoficky primitivní a mělké, neumožňují hlubší úvahu, tak ale dokážou vyřešit velkou část úloh, které zadáváme lidem, když je testujeme. Jediné poučení je, že bychom měli ztížit úlohy, které dáváme ve školách studentům, tak aby je AI modely nebyly schopny vyřešit, aby tam vždy byla potřeba nezávislá lidská úvaha. Možná to spíše ilustruje, že velká část aktivit, které jako lidé děláme, může být automatizovaná. To ale nevyřešíme regulací AI modelů, řešením je, že si uvědomíme, jak plytké jsou některé části ekonomiky.
Řadíte se mezi úplné odpůrce regulace AI, tedy kompletní myšlenky?
Jsou tam věci, se kterými všichni souhlasíme, tedy jako zákaz sociálního skóringu v čínském stylu, také nikdo nemá problém s tím, že zakážeme policii nepřetržitě nás sledovat pomocí biometrických kamer 24 hodin denně, 7 dní v týdnu, aby si to policie mohla procházet. S tím nikdo nemá problém, je to v podstatě aplikace našich základních společenských hodnot a označení využití, které už by bylo nebezpečné vyvíjet. Touto legislativou ale říkáme, že tady je široká škála systémů, u kterých vlastně ani nevíme, čeho se bojíme, neznáme specifická rizika spojená s jejich nasazením, ale na základě politické dohody dáme na jeden seznam něco, čemu říkáme systémy s vysokým rizikem, a na ně uvalíme poměrně striktní požadavky bez toho, aniž by bylo jasné, jaký to má mít přínos.
To mi zatím nikdo neřekl, kromě toho, že tam je obecně napsáno, že to má chránit čtyři kategorie základních práv. Navíc kromě výjimečných, anekdotických případů, kdy šlo o jednotlivce, tak nikdo neřekl, že ta práva jsou ohrožena. Ve většině případů vidíme, že lidské byrokratické systémy, které přijímají důležitá rozhodnutí o lidech, mají typicky nižší kvalitu rozhodování. AI zdaleka nepřekonala člověka, ale už se velmi blíží tomu, jak funguje jednotlivec v rámci byrokratické mašinerie.
V rámci diskuze ohledně regulace se řeší také samotná definice AI, měla by se přejmout ta od OECD. Co si o tom myslíte?
Žádná definice AI mi nepřijde jako správná, každá se na to dívá z nějakého pohledu, ale já nemám žádnou osobní preferenci. Snaha zavést precizní definici nejasných pojmů často vede k tomu, že daný pojem zdegeneruje. Z mého pohledu je definice nevýznamná, já bych totiž nereguloval technologii, ale konkrétní aktivitu, protože pokud například nechceme čínský sociální skóring, tak je přece jedno, jestli ho uděláme díky AI, nebo díky spolupráci desetitisíců lidí. Obě ty aktivity jsou stejně špatné. Za mě by neměla být regulována konkrétní technologie, regulace by měla vycházet z toho, že chceme omezit nějaké konkrétní chování.
Jak byste tedy k tomu přistoupil, kdybyste byl zákonodárce? Jaký mechanismus byste zvolil?
Kdybych měl takovou moc, tak bych navrhl, aby regulace byla mnohem jednodušší. Měli bychom jasně specifikovat, co nechceme a z jakých důvodů to nechceme. Zadruhé si pojďme říct, že tam je kategorie systémů, které manipulují s fyzickým světem a mohou způsobit nevratnou škodu a ty je potřeba regulovat stejně jako běžné systémy. Je jisté, že nikdo nepustí do provozu samořiditelná auta bez dlouhodobého testování. Je jasné, že nemůžete nasadit algoritmus, který ovládá dvoutunový mechanismus, a pustit ho do ulic města jen tak. Rizika, která tam regulujeme, jsou jasná. Už dnes víme, že AI systémy tak dělají méně chyb než lidé. Když Cruise nasadil samořiditelná auta v ulicích San Franciska, tak největší stížnosti byly na to, že když auto neví, jak se rozhodnout, tak radši zastaví. To v podstatě ukazuje, že firmy, které to dělají, jsou zodpovědné a snaží se ochránit okolí.
Systémy s vysokým rizikem, které jsou online, fungují čistě v digitálním světě a už často regulovány jsou, například když rozhodují třeba o finančních operacích. Regulace by měla být stejná, jako máme na nároky na lidi. Nikdo se nasazením AI nezbaví odpovědnosti, stejně tak se nikdo nezbaví odpovědnosti, když nasadí zaměstnance. Regulační mechanismus máme, ale je třeba, aby ta metoda nevyžadovala, že budeme každých pár minut generovat několikasetstránkový dokument, který pošleme nebohému státnímu úředníkovi. Poslední kategorií jsou systémy, u kterých nevíme, jestli tam jsou rizika. Například systém, který rozvrhuje v práci směny. To podle mě není AI systém. To, co tam vidím, je, že se snažíme regulovat něco, co ani lidé nedělají dobře. Snažíme se o to, aby AI vyřešila problémy lidské společnosti. Což v principu nemůže dopadnout dobře.
Zmínil jste problém s registrací a následným schvalováním aktualizací ze strany úřadů. Je tam pro byznys ještě nějaký problém?
Papírování kolem toho, jak model funguje, si může každý národní úřad intepretovat samostatně. Budeme ten model popisovat na pěti stránkách, nebo na pěti tisících stránkách? Je správný princip, když bude něco vyváženo 50 na 50, nebo to může být 47 na 53. Je tam spousta důležitých otázek, na které dnes neznáme odpovědi a které říkají, že budeme muset odevzdávat hromadu papírů, nikdo nám neřekne, jak to budou hodnotit, a na základě toho nám potom řeknou, jestli můžeme dělat to, co děláme. Když se podíváme do USA na Coinbase a Binance, tak zhruba vidíme, jak takový systém funguje.
Proč zrovna ze všech technologií umělá inteligence vzbudila dojem, že je potřeba její vývoj kontrolovat a omezovat už od jejího začátku?
Důvody jsou tři. Ta technologie je objektivně transformativní, je minimálně stejně důležitá jako mobilní telefony, bude možná mít i větší vliv na společnost, poměrně radikálně změní způsob, jak fungujeme. Důležité je, že umělá inteligence je masivně nepřímo propagovaná pomocí sci-fi, ale také díky firmám, které ji využívají. Vidíme něco, co jsme zahlédli ve filmu, a nyní se to objevuje v reálném světě. Existuje také skupina lidí, kteří si stavějí byznys na tom, že chtějí tu technologii regulovat. Ukazují její rizika, ale ne vždy je kvantifikují, tedy neměří, jak jsou ty hrozby reálné. Spousta lidí říká, že vznik obecné AI je nebezpečný, nicméně tak vysoké úrovni se ani zdaleka neblížíme. To, že jazykové modely umějí splnit testy, ve kterých se opakují otázky ze stejných knížek, neznamená, že jsou inteligentní, ale že mají nadstandardně dobrou paměť. Tvrdit, že na základě toho dokážeme vytvořit něco, co umí plánovat a vymyslet, jak převezme moc nad světem, je odvážné.
Vždy v historii AI, která začala v 50. letech, se opakují období AI zimy. Už tehdy první vývojáři říkali, že porozumění přirozenému jazyku zvládnou do šesti měsíců, a nasadili na to jednoho doktoranda s tehdejšími počítači. Dnes to zní směšně, ale tehdy to působilo reálně. Přitom dnes jsme teprve krok od toho, abychom splnili úkoly, kteří si vědci vytyčili už v 50. letech. My to splníme, ale krok k obecné AI je minimálně stejně velký. Proto v historii přicházejí AI zimy, kdy se cítí investoři a všichni okolo zklamaní. Potom trvá dalších 10 až 15 let, než se na vše zapomene. Nemyslím si, že tentokrát AI zima přijde, protože se rychle zlepšují počítače. Ale je možné, že ten vývoj nepůjde dopředu tak rychle, jak šel v posledních dvou letech.
Říkáte, že zda něco AI systémy ukazují, tak to, že bychom měli ztížit nároky lidské činnosti. Jak to myslíte?
Je velice lidské, že si myslíme, že na světě je jen omezený počet pracovních míst a my o ně s AI bojujeme. Reálně to v historii takto nikdy nefungovalo. Když se zautomatizovalo zemědělství, tak ta masa lidí neumřela hlady, ale odešla do jiných zaměstnání, kde jsou pravděpodobně spokojenější a celkově díky tomu ekonomika vyrostla. Nevíme, jaké pracovní pozice vzniknou, ale víme, že lidská společnost má spoustu problémů, které musí řešit. Kdyby tedy AI uvolnila ruce lidem, kteří se věnují automatizovatelným profesím ve velkých firmách a budou se moci věnovat velkým globálním problémům, tak je to ku prospěchu společnosti. Zároveň ve většině západních zemí také klesá počet lidí, není tady ani nekonečno pracovních sil.
Oponoval bych vám. Mohl by být zásadní problém v to, že AI je mnohem sofistikovanější systém než třeba telefony, takže by tam mohla být velká bariéra a právě lidé z automatizovatelných profesí to nebudou moci kvůli tomu využívat. Není to důvod, proč se toho bát?
Nechci hodnotit velkou část populace, ale rozvoj AI možná povede k větší nerovnosti ve společnosti. Když se podíváme na historii poslední stovky let, tak společnosti byly od počátku 20. století nehistoricky rovnostářské, čím více jdeme do minulosti, tím více jdeme do nerovnosti. Je možné, že to, kde jsme žili, byla anomálie. Nemám na to řešení, ale když se podíváme na to, jaká zaměstnání by chtěli dělat současní středoškoláci, tak to jsou povolání, které jsem si já na střední ani neuměl představit. Je možné, že spoustu lidí posuneme z pracovního procesu v reálném světě do digitálního světa. Zatím se v historii nestalo, že by uvolněním pracovních sil nastalo to, že by zůstali lidé stát na ulici a nevěděli co dělat.
Tomu rozumím, ale přechod od hrábí k psacímu stroji byl přece jen jednodušší, na první pohled je jasné, co se s tím dá dělat.
Myslím si opak, tedy že přesun od hrábí k psacímu stroji je větší než přesun od běžné byrokracie k AI. Když máte louku a shrabete seno, tak potřebujete králíky, ze kterých máte maso. K tomu, abyste vydělali peníze díky psaní na stroji potřebujete mnohem složitější mašinerii, musíte vědět co psát, komu psát, mít nějaké procesy. Potřebujete složitou ekonomiku. Myslím si, že jsme blíže dalšímu kroku, velká část lidí žije životy ve virtuálních světech. Možná se do těchto světů posune podstatná část ekonomiky, možná za nás bude v reálném světě pracovat AI a lidé budou dělat ta zaměstnání, která vždy chtěli, ve světech, které neexistují.
To by byla ideální varianta budoucnosti.
Další model, který si můžete představit, je model superatleta. Dnes je struktura života taková, že se 10 až 20 let připravujete na výkon povolání, 40 let pracujete a pak máte důchod. Profesionální sportovci se připravují, pak mají 10 let kariéry a poté mají dlouhý důchod, případně druhou kariéru. Možná je to model, kam se posune společnost, tedy že by velká část lidí pracovala jen 10 let života, během kterých by si na sebe vydělala. Poté by je nahradili mladší a schopnější. Také si můžeme představit omezení pracovního týdne. Všichni se bavíme o čtyřdenním pracovním týdnu, zatím se ale ukazuje, že to má negativní vliv na ekonomické výsledky, možná ale když zautomatizujeme velkou část lidské práce, tak to není nereálné. Jsou tam pozitivní elementy, které nám umožní přestavit společnost tak, aby fungovala i nadále. Ale pokud chcete záruku, tak tu vám dát nemohu.
Tu ani nechci, stačí mi, že jste ohledně budoucnosti optimistický. Já občas v poslední době propadám skepsi.
Taky jsem spíše negativní, protože sledujeme, kam se posouvají podvodníci a zločinci. Před pěti lety se objevovaly online podvody, ale byl jich jen zlomek. Nicméně mladá generace kriminálníků přišla na to, že v době home office se páchání zločinu ve fyzickém světě vůbec nevyplatí. Zločin se přesunul do digitálního světa k modelům náročným na práci, které vycházejí z moderního marketingu. Nyní tam vidíme posun k automatizaci. Stále se zvyšuje aktivita útočníků, neustále vylepšují produktivitu. Rozhodně neklesá zločinnost. Mění se, posouvá se do digitálního světa a s tím i výrazně klesá její nahlášení. FBI nedávno uvedla, že si myslí, že se dozvídají jen o jednom procentu ransomwarových incidentů. To je problém, nevíme, kolik jich je, v Česku to bude ještě méně než jedno procento. Jaká je šance, že česká policie pomůže s ransomwarovým incidentem?
A nedokládá tento váš konkrétní případ to, že komplexita AI systémů je mnohem větší než v době analogové?
To sice ano, ale také to ukazuje, že se zločinci dokázali přizpůsobit. To by mohlo také znamenat, že se podobně přizpůsobí i celá ekonomika. Anebo se z nás všech stanou zločinci. Je vidět schopnost lidí přizpůsobit se. Když vidíme, jak se radikálně změnila ekonomika za poslední tři roky a jak se společnost přepínala z režimu covid a necovid, tak nemám strach, že bychom jako společnost nezvládli přechod na AI. Lidstvo má před sebou úplně jiné existenční hrozby než AI. Spousta lidí možná řeší AI, aby nemusela řešit skutečné hrozby.
Martin Rehák (45)
Umělou inteligenci studoval na ČVUT, poté s Michalem Pěchoučkem založil startup Cognitive Security, který o pár let později prodal obří americké korporaci Cisco. Resistant AI spoluzaložil pod názvem Bulletproof AI, startup se věnuje kybernetické ochraně před finančními podvody. Resistant AI na rozvoj svých služeb vybral od investorů finance přesahující půl miliardy korun.
