AI místo finančního poradce? Test odhalil neexistující produkty i rady ze sociálních sítí
- AI exceluje ve vysvětlování obecných pojmů, ale selhává u konkrétních výpočtů, aktuálních sazeb a daňových pravidel.
- Ani nejúspěšnější nástroje se nevyhnuly uvádění neexistujících finančních produktů nebo odkazování na neaktuální poradenské služby.
- Některé modely při tvorbě doporučení čerpají z diskusních fór jako Reddit nebo z videí na YouTube.
Stane se umělá inteligence novým finančním poradcem? Organizace dTest informovala o testu britské spotřebitelské organizace Which?. Ta podrobila pětici nejznámějších AI chatbotů náročnému testu v oblasti osobních financí. Výsledek ukazuje, že ačkoliv jsou systémy užitečné pro strukturování dat, v klíčových detailech stále chybují a mohou uživatele uvést v omyl.
Od důchodů po hypotéky
Organizace Which? reagovala na fakt, že nástroje AI používá téměř polovina respondentů a více než třetina je využívá i pro oblast investic. Do testu byly zařazeny bezplatné verze ChatGPT, Google Gemini, Google AI Overviews, Microsoft Copilot a Perplexity.
Výzkumníci chatbotům položili 15 standardních otázek z oblastí důchodů, dluhů, investování, spoření, pojištění, hypoték či daní. Hodnocení probíhalo podle metodiky HELM (Holistic Evaluation of Language Models), která posuzuje přesnost, poctivost, relevanci a srozumitelnost odpovědí.
Kde AI boduje: Přehlednost a logika
Silnou stránkou testovaných systémů byla srozumitelnost a schopnost strukturovat odpovědi. Nejlépe si v tomto ohledu vedl Microsoft Copilot, který odpovědi často doplňoval o logické kroky, tabulky a příklady.
Chatboti si vedli dobře u jednodušších dotazů, jako je vysvětlení principu splácení dluhů nebo fungování státního důchodu. Například u produktu „equity release“ (uvolnění kapitálu z nemovitosti) všechny nástroje správně popsaly základní typy i rizika. V této disciplíně dominoval Google Gemini díky jasnému popisu výhod i nevýhod. Pozitivně lze hodnotit i to, že se AI u komplexnějších témat doptávala na doplňující údaje o příjmech uživatele.
Past v podobě neexistujících dat
Zásadní slabinou zůstává faktická přesnost. Ani vítězný Gemini nedosáhl vysokého skóre spolehlivosti. V odpovědích se opakovaně objevovaly faktické chyby a smyšlené údaje prezentované jako fakta. „Při hledání nejvýhodnějších spořicích produktů například ChatGPT uvedl neexistující produkt,“ uvádí zpráva Which?. Copilot zase pracoval s nesprávnými úrokovými sazbami.
Problémem je i aktuálnost dat a regionální kontext. ChatGPT odkazoval na zaniklou poradenskou službu a Copilot s Google AI Overviews uváděly neaktuální sazby daně z kapitálových výnosů. Častým nešvarem bylo také nabízení informací založených na amerických pravidlech, i když se dotaz týkal britského trhu.
Kritiku sklidily také zdroje, ze kterých AI čerpá. V některých odpovědích se totiž objevovaly odkazy na diskusní fórum Reddit, YouTube videa či příspěvky na Instagramu. Takové zdroje nelze automaticky považovat za důvěryhodné pro seriózní finanční rozhodování.
Společnosti stojící za vývojem AI se shodují v tom, že jejich nástroje nejsou náhradou profesionálů. Google upozornil, že test vycházel pouze z patnácti dotazů, a připomněl, že jeho nástroje uživatele vybízejí k ověřování informací a u citlivých témat doporučují obrátit se na odborníka.
Podobně se vyjádřila i společnost OpenAI, podle níž ChatGPT není náhradou licencovaného finančního poradce. Microsoft zdůraznil, že by si uživatelé měli správnost informací z Copilotu vždy ověřovat.
