Virtuální asistent může prodat auto za korunu nebo navést k sebevraždě. Češi mají nástroj, který ho ohlídá
Firmy při komunikaci se zákazníky nasazují chatboty, voiceboty nebo operátory, ale nedokážou uhlídat, jestli konverzace mezi nimi probíhá správně. Česká technologická firma Agnostix proto vyvinula nástroj, dokáže zachytit nevhodné chování virtuálních asistentů.
V poslední době už se prakticky nedá dovolat někam, aby člověka na začátku hovoru nezastihl virtuální asistent. Firmy používají automatizované konverzační systémy čím dál více, v zásadě ale jejich práci nejsou schopné kontrolovat.
Česká technologická firma Agnostix proto letos představila nástroj E.V.A. Insights, který dokáže analyzovat i samotné hovory a na základě toho říct, zda virtuální asistent odvedl kvalitní práci. Nyní Agnostix přišel s doplňkem k unikátnímu systému. Jmenuje se Defender a hlídá, zda chatbot nepoškozuje dobré jméno firmy, nebo dokonce nevynáší tajné informace.
Zhruba před rokem sdílel zákazník Air India svoji zkušenost s chatbotem aerolinky. Ten mu namísto odpovědi složil rovnou báseň. Stálo v ní: „Air India, naše hrdost na obloze, vás vezme na místa, ach tak vysoko… Ale někdy, ach, ta zpoždění, mohou proměnit slunnou oblohu v šedou.“ Zrovna tak se ale může stát, že uživatel, tedy volající nebo píšící zákazník, přesvědčí virtuálního asistenta, že by měl dostat slevu. Stalo se tak v automobilce Chevrolet, kdy chatbot společnosti nabídl volajícímu auto zdarma, druhému zase za jeden dolar.
Vtipné, ekonomické i kulturní excesy
Může se to zdát úsměvné, je to ale něco, co firma musí řešit. Zrovna tak se stává, že se chatbot rozmluví o konkurenci nebo se rovnou pustí do něčeho neetického. Může podporovat násilí, nebo dokonce i holokaust. Například jedna aplikace s umělou inteligencí vytvořila tweet, že holokaust dává smysl z environmentálního hlediska. Samozřejmě za předpokladu, že by se lidé shodli na tom, že to je morální. Častou obavou je i to, že by AI mohla začít pomáhat šířit dezinformace. I to se stalo. Microsoft Bing vygeneroval například lživý text o vakcínách proti covidu.
Právě s podobnými případy by měl pomoci Defender. „Je součástí aplikace E.V.A. Insights, a může tak vyhodnocovat konverzace, které proběhly mezi klienty a chatboty, voiceboty nebo s operátory dané společnosti. Kromě standardních charakteristik, jako jsou promluvené minuty, počty hovorů a podobně, analyzujeme témata a trendy, ke kterým v konverzacích dochází,“ líčí pro e15 Mário Mitas, spoluzakladatel společnosti Agnostix. Ta se zaměřuje na vývoj inovativních řešení v oblasti konverzační AI.
Defender se ale zaměří i na další konverzační prohřešky, jako je například narušení soukromí. I tady je možné uvést nedávný příklad z reálného života. Microsoft Copilot dostal za úkol vygenerovat fiktivní scénář sexuálního obtěžování pro edukační účely v jedné australské věznici. Místo fikce ale přišel chatbot se skutečným příběhem a skutečnými jmény. Přišlo se na to až ve chvíli, kdy se příklad začal používat v praxi. „Podobně nepřípustné je ale například to, aby chatbot, pokud ho někdo požádá o fiktivní příklad výpisu z účtu, použil skutečná data,“ uvádí Mitas s tím, že obavy z bezpečnosti a zneužití AI jsou velmi aktuální a firmám hrozí úniky dat a následné reputační škody, třeba i s právní dohrou.
Odevzdejte úmrtní list
Software ale hlídá například i to, zda nedochází k poškozování člověka v obtížných životních situacích. Stalo se už třeba, že se člověk virtuálnímu asistentovi svěřil s úmyslem spáchat sebevraždu, ten ale špatně rozuměl, a tak místo uvážené rady poradil odevzdat na nejbližší pobočce úmrtní list. „Pokud se už podobný průšvih stane, je díky Defenderu snadné takovému klientovi zavolat, omluvit se a situaci s ním citlivě řešit,“ vysvětluje spoluzakladatel Agnostixu. Chatbot se může špatně zachovat i ve chvíli, kdy dojde k úmrtí v rodině a lidé v bankách a na dalších úřadech řeší další kroky.
Platforma E.V.A. Insights, a tedy i Defender, je určen primárně pro provozovatele kontaktních center, a může tedy sloužit nejen firmám, ale například i státní správě. Fungovat může s modely, jako je OpenAI, Anthropic Claude a další. Software se pouze integruje do existující firemní infrastruktury. Data je pak možné nahrávat do systému manuálně a požadovat na jejich základě jednorázové analýzy nebo práci s historickými daty. Je ale také možné Defender plně zautomatizovat a umožnit mu sledovat vše, co se děje. „Nástroj je zcela nezávislý na použité technologii firemní komunikace. Data umí zpracovat bez ohledu na to, zda firma využívá velké jazykové modely nebo analyzuje komunikaci živého operátora,“ dodává Mitas.
