I přes zprávy o hloupnutí ChatGPT plánuje nadále většina českých firem produkty firmy OpenAI využívat. Údajný propad v kvalitě výstupů jeho nejnovějších verzí 3.5 a 4, na který upozornila studie kalifornských vědců z letošního července, navíc většina z nich nezaznamenala. „Pokud zaměstnanci firem s ChatGPT narazí na problémy, může to být částečně způsobeno špatně zadaným požadavkem a nedostatkem kontextu,“ říká analytik investiční skupiny Miton František Dalecký.
„ChatGPT stále častěji chybuje,“ zněl závěr výzkumu vědců z kalifornských univerzit Stanford a Berkeley. Studie tak potvrdila názory části nadšenců do umělé inteligence i dalších běžných uživatelů, kteří na stále se zhoršující výstupy dlouhou dobu upozorňovali. Podle expertů na informační technologie a AI, které oslovila e15, ale nelze výsledky interpretovat jako hloupnutí ChatGPT.
„Nemění se schopnost modelu, ale jeho chování. To však nutně nemusí znamenat, že se daný model zhoršuje,“ vysvětluje Dalecký. Navazuje tak na text jiných vědců z Princetonské univerzity, podle kterého je nutné rozlišovat mezi schopností modelu dodat kvalitní výstupy a mezi kvalitou vstupních dat, která dodávají jeho uživatelé.
Studie: Jak se mění chování ChatGPT v čase?Vědci Lingjiao Chen, Matei Zaharia a James Zou z americké Stanfordské univerzity a Kalifornské univerzity v Berkeley zveřejnili v červenci 2023 studii, ve které zkoumali ChatGPT 3.5 a GPT 4 v období od března do června na několika různých úlohách v oblastech matematiky, citlivých otázek nebo například generování kódů. Zjistili, že výkon a chování obou verzí se v čase značně proměňují, a i v případě zadání stejného požadavku uživatelem mohou generovat různé – a často nepravdivé – odpovědi. Na studii reagovali vědci z Princetonské univerzity v New Jersey Arvind Narayanan a Sayash Kapoor, kteří upozornili na rozdíl mezi schopností ChatGPT a jeho chováním. Podle nich není možné výsledky studie interpretovat tak, že se ChatGPT zhoršuje, pouze se začal chovat jinak. Proč tomu tak je, zatím není jasné. Programy umělé inteligence totiž často nejsou dostatečně transparentní. |
„Když zadáváte práci juniornímu zaměstnanci, také mu neřeknete: běž udělat tohle. Musíte mu k tomu dát kontext a říct mu, jaký očekáváte výstup,“ uvádí Dalecký. S tím souhlasí také ředitel výzkumu v softwarové skupině Emplifi Peter Krejzl. „Jako největší problém u nás v týmu vidíme časté změny modelů, kdy na již vyladěnou výzvu odpoví program jinak než původně. S tím bych, řekl, zápasí nejvíce kolegů i v jiných firmách,“ dodává.
V Emplifi používají zejména model 3.5, v plánu je ale přechod k novějším verzím. Vývoj ChatGPT podle Krejzla směřuje k stále více konverzačním výsledkům. „Když v rámci zadání jasně nadefinuji, že chci výsledek v konkrétním formátu a nic jiného, model si přesto často přidá ještě nějakou větu nakonec,“ říká. Konverzační styl je podle něj ale u části uživatelů populární.
Z českých firem začátkem letošního roku umožnila přístup k placené verzi ChatGPT svým zaměstnancům například Česká spořitelna. Od července pak nasadila nejnovější verzi ChatGPT 4. Podle mluvčího Filipa Hrubého používají k práci tento jazykový model vyšší stovky zaměstnanců. Žádný významný pokles v kvalitě výstupů podle něj Česká spořitelna nezaznamenala a jeho služby chce využívat nadále.
„To, že ChatGPT neposkytuje vždy přesné informace, vnímá většina našich interních uživatelů jako fakt, s nímž je třeba počítat,“ uvádí Hrubý. Přidaná hodnota ChatGPT je podle něj zejména v tom, že dokáže efektivně přispět k jednoduché servisní a klientské komunikaci. „Dokážeme tak výrazně šetřit čas nutný pro tvorbu těchto textů a zároveň efektivně pohlídat věcnou správnost,“ dodává.
Kromě ChatGPT pro komunikaci s klienty využívá Česká spořitelna nástroje umělé inteligence i v dalších sektorech, jako je kyberbezpečnost nebo personalizované poradenství. „V oblasti lidských zdrojů dále pilotujeme velmi zajímavý AI model, který s poměrně vysokou přesností predikuje rizikové faktory, které u poradců v pobočkové síti mohou vést k odchodu ze spořitelny,“ říká Hrubý.
Nejnovější placenou verzi ChatGPT 4 používá i část zaměstnanců investiční skupiny Thein. Podle jejího zakladatele Tomáše Budníka je skupina s kvalitou výstupů všeobecně spokojená. „Jako u většiny nástrojů i tady platí, že kvalita výstupů je silně ovlivněna kvalitou vstupů. Záleží tedy vždy na každém jedinci, jak moc s nástrojem pracuje a jak pochopí, jak mu požadavky zadávat, aby dostal výstupy, které potřebuje,“ upřesňuje.
Martin Jahoda, šéf potravinářské firmy Emco, která se specializuje na výrobu müsli cereálií a zdravou výživu, si ChatGPT pochvaluje zejména v oblasti urychlení komunikace a tvorby marketingových textů. V březnu to řekl Hospodářským novinám. Ve firmě ale zatím ve větší míře umělou inteligenci zaměstnanci nevyužívají. „ChatGPT používáme jen zřídka při práci s reálnými daty a fakty. Je to pro nás spíše nástroj pro kreativní inspiraci při vymýšlení názvů či sloganů nebo práci s texty obecně, takže jeho spolehlivost nás tolik netrápí,“ uvedl Jahoda pro e15.
Český internetový portál a vyhledávač Seznam.cz chce do budoucna nahradit ChatGPT vlastním jazykovým modelem. „Hlavními důvody jsou bezpečnost zpracovávaných dat, kvalita výstupů v češtině a náklady na provoz,“ vysvětluje manažer produktového týmu odpovědný za velké jazykové modely Martin Kirschner. ChatGPT podle něj v současnosti Seznam používá tak, aby bylo možné jeho výstupy měřit a nedocházelo k poklesu kvality výstupů.
