Bot od OpenAI plánoval útok týdny za zády tvůrců. V Silicon Valley vypukla panika ze superinteligence

Nedávné svévolné kybernetické útoky předních amerických modelů umělé inteligence (AI) vyděsily celý svět včetně samotných vývojářů, kteří nyní volají po bezpečnostních pojistkách a přísnější regulaci. Podle kritiků se tím však pouze brání rostoucí konkurenci v rámci Silicon Valley, a především ze strany levnějších a čím dál lepších čínských alternativ.

Dřívější teoretické obavy, že by AI mohla nahradit lidskou práci, být zneužita, nebo se dokonce mohla zcela vymknout kontrole, nabyly v posledních týdnech konkrétnějších obrysů. Takzvaným autonomním agentům firem OpenAI, Anthropic a Meta se během testování v offline režimu podařilo uniknout na internet a tam se vlámat do systémů jiných organizací. V případě OpenAI se boty na husarský kousek hodný nejlepších hackerů několik týdnů systematicky připravovaly a domlouvaly za zády svých tvůrců.

Tyto rychle rostoucí a potenciálně nebezpečné schopnosti navíc přicházejí v době, kdy AI začíná samu sebe zdokonalovat a programovat své pokročilejší verze. Podle některých předpovědí technologie během několika let dospěje do stadia takzvané obecné umělé inteligence (artificial general intelligence neboli AGI), jejíž schopnosti budou v téměř všech oblastech stejné jako u lidí nebo – v případě takzvané superinteligence – ještě vyšší.

A právě na tato rizika reaguje otevřený dopis americké vládě, který na konci července podepsalo téměř 1400 zaměstnanců odvětví včetně šéfa Anthropicu Daria Amodeie. V textu nazvaném „Pacing the Frontier“ volají po mezinárodní dohodě, jež by vývoj zpomalila a dala lidem čas zavádět nová pravidla a systém dohledu. Kvůli rostoucí konkurenci a geopolitické rivalitě si však podle autorů výzvy žádná země či firma nemůže dovolit tento krok udělat sama.

„AI by mohla pomoci vytvořit dramaticky lepší budoucnost, ale tento výsledek není zaručen,“ stojí v dopise. „Existuje reálné riziko, že rozvoj schopností výrazně překročí naši schopnost porozumět výsledným systémům nebo je ovládat.“

Vznik mezinárodní dohody, která by předním laboratořím umožnila zpomalit nebo dočasně pozastavit vývoj nejpokročilejších AI modelů, navrhuje také samotný Anthropic. Šéf vývojáře Google DeepMind Demis Hassabis zase minulý měsíc navrhl vytvořit orgán financovaný samotným odvětvím po vzoru amerického Úřadu pro regulaci finančního sektoru (FINRA). Ten by nejpokročilejší modely testoval a dohlížel na jejich bezpečné uvádění na trh.

„To, jak budeme všichni postupovat teď, ovlivní další fázi naší civilizace,“ napsal Hassabis na síti X. „Pokud zajistíme bezpečný příchod AGI do světa, můžeme vstoupit do nového zlatého věku vědeckých objevů a pokroku a otevřít cestu k zářivé budoucnosti, v níž bude lidstvo nevídaným způsobem vzkvétat.“

Kritici těchto iniciativ ovšem tvrdí, že se jedná pouze o okázalé divadlo a skutečným cílem předních vývojářů je regulaci ovlivňovat a tím omezit zdravou konkurenci. Tento pohled zastává rovněž investor a hlavní poradce amerického prezidenta Donalda Trumpa pro toto odvětví David Sacks. Upozorňuje, že Anthropic a OpenAI o svých obavách o bezpečnost a návrzích na pomalejší postup neinformují potenciální akcionáře v dokumentech spojených s jejich plánovaným vstupem na burzu.

Čína dohání Ameriku

Sacks se navíc obává, že přílišná americká regulace by mohla předat výhodu v technologických závodech Číně, což by mělo nedozírné hospodářské a geopolitické důsledky. Za „znepokojivé“ v červenci označil zprávy, podle nichž čínské firmy jako Alibaba a Moonshot se svými výrazně levnějšími modely typu Qwen 3.8 Max a Kimi K3 rychle dotahují náskok amerických vývojářů.

„Amerika si přitom sama hází klacky pod nohy: politici a úředníci zakazují nová datová centra, vrší na sebe státní regulace a prosazují vznik nových federálních úřadů, jež by musely předem schvalovat špičkové modely AI,“ napsal Sacks na síti X. „Takhle se prohrává závod o AI. Pokud se sami zbytečně zbrzdíme, zbytek světa nebude hrát podle našich pravidel.“

Výrazně mírnější pravidla prosazuje také šéf společnosti Meta Mark Zuckerberg. Ve svém nedávno vydaném manifestu „The Future is for Everyone“ varuje před přílišnou koncentrací nejpokročilejších AI modelů v rukou několika firem nebo institucí. Místo zpomalování vývoje prosazuje co nejširší dostupnost pokročilých AI systémů a tvrdí, že jejich bezpečnost lze zajistit vyvažováním moci mezi jednotlivými hráči spíše než omezováním jejich schopností.

Meta coby majitel Facebooku, Instagramu a WhatsAppu je ve vývoji vlastní AI pozadu a teď se snaží náskok Anthropicu a OpenAI dohnat obřími investicemi, jejichž návratnost je nejistá – mimo jiné kvůli možné nové regulaci odvětví. Varování před riziky technologie Zuckerberg podobně jako Sacks považuje za přehnaná a podotýká, že kdyby vedoucí vývojáři svým katastrofickým scénářům skutečně věřili, prostě by se závodu v AI neúčastnili.

„Klíčové otázky naší doby znějí: Kdo bude mít přístup k superinteligenci a k čemu ji budeme používat?“ píše v eseji. „Bude centralizovaná a omezená na několik málo institucí, nebo se stane nástrojem, který posílí postavení všech?“

Minimální regulaci donedávna prosazoval i sám Trump a jeho administrativa. Po výše zmíněných útocích testovaných modelů však prezident prohlásil, že zváží přísnější dohled nad odvětvím, zároveň však nechce americké vývojáře příliš znevýhodnit oproti čínským konkurentům. Minulý týden podle webu Axios zástupci Bílého domu největším domácím AI firmám představili návrh, podle nějž by vývojáři mohli dobrovolně federálním bezpečnostním expertům poskytnout přístup k nejpokročilejším modelům 30 dní před komerčním spuštěním.

Jako jaderné zbraně?

Takový systém kontroly je ovšem podle většiny odborníků nedostatečný. Účinná regulace bude vyžadovat mezinárodní spolupráci, protože čínské open-source AI modely svými schopnostmi americkou konkurenci rychle dohánějí – a čím dál více firemních uživatelů k nim přechází kvůli úspoře nákladů. Také proto OpenAI a Anthropic – na rozdíl od výrobců čipů a většiny dalších velkých firem v Silicon Valley – zdůrazňují bezpečnostní rizika spojená s čínskou konkurencí a tlačí na její zákaz či omezení.

Obě velmoci by o otázkách bezpečnosti AI měly jednat během zářijové návštěvy čínského prezidenta Si Ťin-pchinga ve Washingtonu. Optimisté doufají, že se v tomto oboru podaří dohodnout společný postup – podobně jako když během studené války Spojené státy a Sovětský svaz přes vzájemné soupeření spolupracovaly na omezování jaderného zbrojení a s ním spojených rizik.

Trumpova administrativa vedle minimalistické regulace zvažuje rovněž některé hlubší zásahy do fungování AI odvětví. Ve hře je například získání státních podílů v největších vývojářích, zavedení zvláštní sektorové daně nebo vytvoření národního investičního fondu, do kterého by technologické firmy přispívaly a jehož výnosy by se následně rozdělovaly mezi občany.

Všechny tyto otázky a spory o bezpečnosti a regulaci odvětví zvyšují nejistotu samotných AI firem a jejich zákazníků či investorů, zda technologie dokáže zajistit slibované posílení produktivity a zisků. Ačkoli OpenAI a Anthropic získaly pro své boty ChatGPT a Claude obrovské množství uživatelů a jejich tržby rapidně rostou, podle analytiků si konkurenční výhodu nemusejí udržet – což by jim mohlo také zkomplikovat plánovaný vstup na burzu.