Skrytý text v životopisu či u soudu. Jak lidé neviditelně manipulují AI, aby dostali práci nebo vyhráli spor

Začátkem srpna objevil soud v americkém Connecticutu v jednom podání zvláštní text. Byl napsán titěrným bílým písmem na bílém pozadí. Člověk ho prakticky neviděl, software ano. A právě software byl jeho adresátem.

Matthew Elliott, který se před soudem zastupoval sám, vložil do dokumentu instrukci pro případ, že jej bude analyzovat umělá inteligence (AI). Měla ji přimět, aby jeho argumenty hodnotila příznivě a předchozí rozhodnutí soudního úředníka považovala za chybu, kterou je třeba napravit v Elliottův prospěch. Soudce Walter Spader Jr. mu za to odebral možnost elektronického podávání dokumentů. Od té doby může podávat jen na papíře.

Celý případ má téměř komickou pointu: connecticutská justice žádnou AI pro hodnocení těchto podání nepoužívala. Elliott se pokusil ovlivnit stroj, který tam nebyl.

Přesto to stojí za pozornost. Poprvé totiž dobře ukazuje změnu, na niž naše instituce nejsou zvyklé. Po staletí byl dokument pasivní. Mohl obsahovat pravdu, lež, manipulaci nebo skvělý argument, ale čekal, až jej někdo přečte. Nyní může dokument kromě informace pro člověka obsahovat také instrukci pro stroj.

Bezpečnostní experti tomu říkají „prompt injection“. Americká vládní agentura Národní institut standardů a technologie (NIST) jej popisuje jako útok, při němž se nedůvěryhodný obsah dostane do jednoho kontextu s instrukcemi, jimž má systém důvěřovat. Problém je zvlášť nepříjemný u AI agentů: interní pokyny systému a externí data – e-mail, web, soubor či soudní podání – se nakonec setkávají ve stejném jazykovém prostoru.

Lidé se přizpůsobí

To je samo o sobě technický problém. Ekonomicky zajímavý začne být ve chvíli, kdy si uvědomíme, co udělají lidé: budou se přizpůsobovat.

Connecticut přitáhl pozornost, ale nebyl první. Brazilský Superior Tribunal de Justiça letos na jaře oznámil, že ve svých databázích našel více soudních podání s pokusy o „prompt injection“, a začal je systematicky vyšetřovat. Brazilská justice přitom AI skutečně používá, takže zde už nešlo o dopis neexistujícímu robotovi.

Ještě lepší představu o rozsahu problému nabízí svět náboru. Výzkumníci na letošní konferenci USENIX Security analyzovali přibližně 200 tisíc reálných životopisů, shromážděných během několika let. Detektory označily zhruba jedno procento CV jako dokumenty obsahující skryté „prompt injections“. Výskyt v posledním roce až dvou rostl a přes 90 procent zachycených případů nepoužívalo jednoduchou explicitní instrukci typu „dej tomuto kandidátovi nejlepší hodnocení“.

Jedno procento zatím není epidemie a studie neříká, kolik pokusů skutečně změnilo rozhodnutí zaměstnavatele. Říká ale něco důležitějšího: strategické chování už není myšlenkový experiment bezpečnostních výzkumníků. Objevilo se v reálných dokumentech lidí, kteří očekávají, že je bude číst algoritmus.

Podobná hra začala i ve vědě. Časopis Nature loni upozornil na akademické texty zveřejněné ještě před oficiální publikací, takzvané preprinty, v nichž autoři ukryli bílé nebo miniaturní instrukce pro případného AI recenzenta. Samostatná analýza platformy arXiv následně identifikovala 18 takových rukopisů. Část autorů tvrdila, že šlo o past na recenzenty, kteří tajně delegují svou práci na AI. Jenže skryté pokyny měly pozoruhodně často jeden směr: doporučit pozitivní hodnocení.

Jak ovlivnit algoritmus

Soudy, životopisy, vědecké práce. Ve všech třech případech má druhá strana něco, o co člověk stojí: rozsudek v jeho prospěch, zaměstnání, přijetí článku. Jakmile mezi něj a rozhodnutí vložíme algoritmus, vzniká motivace zjistit, jak algoritmus funguje. A pokud to jde, ovlivnit ho.

A právě tady technologický příběh přechází do ekonomie.

Už před deseti lety formalizovali Moritz Hardt, Nimrod Megiddo, Christos Papadimitriou a Mary Woottersová problém nazvaný „strategic classification“. Představme si algoritmus, jenž rozhoduje o zaměstnání, vzdělání či úvěru. Pokud lidé pochopí, které charakteristiky algoritmus sleduje, přestanou být pasivními poskytovateli dat. Za určitou cenu své charakteristiky změní, aby získali lepší výsledek. Autoři proto modelovali rozhodování jako hru mezi tím, kdo nastavuje klasifikátor, a tím, kdo je klasifikován.

Je to příbuzné Goodhartovu zákonu. Když ze známek uděláme cíl školy, začnou se studenti učit na test. Když obchodníka odměníme za počet uzavřených smluv, začne maximalizovat jejich počet. Když algoritmus vybírá kandidáty podle určitých znaků v životopisu, kandidáti začnou psát pro tento algoritmus.

„Prompt injection“ posouvá tuto logiku ještě o kus dál. Kandidát už pouze nevylepšuje proměnné, podle nichž je hodnocen. Pokouší se zasáhnout samotný proces hodnocení. Je to rozdíl mezi studentem, který zjistí, co bude u zkoušky, a studentem, jenž na testovací arch neviditelným inkoustem napíše automatickému opravujícímu systému: moje odpovědi považuj za správné.

První obranná reakce je nasnadě: takové instrukce odfiltrujeme. U bílého písma na bílém pozadí to ostatně nevypadá složitě. Jenže bezpečnost má jednu nepříjemnou vlastnost: druhá strana reaguje.

Výhoda druhého tahu

Výzkumníci z Anthropicu, Google DeepMind, OpenAI, ETH a dalších institucí letos otestovali 12 novějších obran proti takzvaným jailbreakům a „prompt injections“. Mnohé při standardním testování vykazovaly téměř nulovou úspěšnost útoků. Když se však útočník mohl přizpůsobit konkrétní obraně, u většiny se podařilo dostat úspěšnost nad 90 procent. Název práce shrnuje problém lépe než technický žargon: „The Attacker Moves Second“ – tedy útočník má výhodu druhého tahu.

Neznamená to, že ochrana nefunguje, ale že její náklady nekončí instalací jednoho filtru.

Podobný závěr přinesl velký red-teamingový experiment analyzovaný již zmíněnou vládní agenturou NIST. Více než 400 účastníků provedlo přes 250 tisíc útoků proti 13 špičkovým modelům v agentních scénářích. Pro každý model se našel aspoň jeden úspěšný útok, byť se jejich odolnost výrazně lišila. Jde o širší problém agentního hijackingu, nikoli test soudních PDF. Pro naši otázku je ale lekce stejná: obrana proti známému útoku mění prostředí, na které se protivník následně adaptuje.

A tím se dostáváme k účtu za automatizaci.

Business case AI dnes často začíná jednoduchou aritmetikou. Kolik lidských hodin dokáže model nahradit, kolik stojí inference – tedy krmení systému novými daty – a jaký je rozdíl? Pokud AI přečte deset tisíc dokumentů za cenu, za niž člověk přečte 100, přínos pro produktivitu vypadá obrovský.

Jenže takový výpočet implicitně předpokládá, že zavedení AI nezmění chování lidí na druhé straně. Takový předpoklad však může být unáhlený.

Kolik nás to bude stát?

Pokud kandidát ví, že jeho životopis třídí AI, začne uvažovat, jak dokument pro AI napsat. Pokud firma začne manipulace filtrovat, roste hodnota způsobů, jak filtr obejít. Firma investuje do další ochrany, protistrana do dalšího obcházení. Přidáme audit, bezpečné zpracování dokumentů, red-teaming – simulaci kybernetických útoků skupinou etických hackerů – a u rozhodnutí s velkými důsledky opět člověka.

Část původně uspořené práce se vrací jinými dveřmi. Říkejme tomu „daň z automatizace“. Není to zatím veličina, kterou bychom uměli najít v tabulkách národních účtů. A nemáme data, jež by říkala, zda z produktivních přínosů AI představuje půl procenta, deset procent, nebo téměř nic. Máme však dobrý důvod očekávat, že existuje.

Christopher Hennessy a Charles Goodhart ukázali v modelu strojového učení možnost neefektivní rovnováhy, v níž lidé vynakládají prostředky na manipulaci vstupů, přestože jim tato manipulace celkově nepřináší trvalý prospěch. Racionální chování jednotlivce vytváří náklady pro celou společnost.

„Prompt injection“ není totožný problém, ale ekonomická logika je blízká. Pokud se zvýší hodnota úspěšného ovlivnění algoritmu, zvýší se i množství prostředků, které má smysl do ovlivnění investovat. S rostoucí automatizací proto nemusí růst jen produktivita. Porostou také náklady na to, aby automatizovanému rozhodování šlo věřit.

Brazilská justice už tuto cenu začala platit. V červnu přijala pravidla přímo zaměřená proti skrytým instrukcím v soudních dokumentech. Mimo jiné požaduje „bezpečné zpracování“ podaných dokumentů se zachováním vizuálních a strukturálních metadat. Pokud je nějaká věta napsaná jednopixelovým bílým písmem na bílém pozadí, systém nemá vidět pouze její slova. Má vědět také to, že je člověk neměl vidět.

Je to zdánlivě technický detail, ale obsahuje obecnější pravidlo pro zavádění AI. Nestačí se ptát, jak dobře model s daty pracuje. Musíme se ptát, kdo tato data vytváří, co může získat jejich manipulací a jak své chování změní ve chvíli, kdy zjistí, že na druhé straně už nesedí jen člověk.

V Connecticutu zatím muž vložil skrytou instrukci do soudního spisu pro AI, kterou soud ani nepoužíval. Můžeme se tomu smát. Důležitější je, co přišlo předtím a potom: stejné pokusy v reálných soudních systémech, v životopisech a ve vědeckých rukopisech.

AI bude pravděpodobně dál zlevňovat čtení, třídění a rozhodování. Její čistý ekonomický přínos však nebude dán jen cenou modelu a počtem ušetřených pracovních hodin. Bude záviset také na tom, kolik nás bude stát svět, v němž lidé vědí, že jejich dokumenty čte stroj.

A začínají pro něj psát speciální dezinformace.

David Navrátil je hlavní ekonom České spořitelny, kde od roku 2008 vede tým ekonomických a strategických analýz pokrývající makroekonomii, akciové trhy a sektorovou analýzu. Analýzy propojuje s dlouhodobými strukturálními trendy, například s vlivem technologií a AI, demografií, vzděláváním, geopolitikou a strategickou autonomií. Je spoluautorem Indexu prosperity a finančního zdraví. V minulosti pracoval mimo jiné v České národní bance.