Czy warto powierzyć pieniądze chatbotowi? Test 10 tys. odpowiedzi przynosi werdykt

Popularne modele AI nie poradziły sobie z 57% pytań dotyczących finansów osobistych — wynika z badania brytyjskiej firmy fintechowej Saturn. W przypadku trudniejszych, wieloetapowych pytań odsetek błędnych odpowiedzi wzrósł do 88%.

Wyniki pojawiły się w czasie, gdy konsumenci coraz częściej polegają na chatbotach, zadając pytania dotyczące finansów.

Trudniejsze pytania pokonały niemal każdy model

W badaniu zadano 121 pytań 18 bezpłatnym i płatnym modelom oferowanym m.in. przez ChatGPT, Gemini, Claude i Copilot. Każde pytanie zadano maksymalnie 5 razy, uzyskując łącznie ponad 10 000 odpowiedzi.

Odpowiedź uznawano za błędną, jeśli zawierała błąd rzeczowy, pomijała istotną informację lub nie zawierała wymaganego ostrzeżenia.

Najgorzej wypadły bezpłatne modele, które udzieliły błędnych odpowiedzi na 63% pytań, w porównaniu z 49% w przypadku wersji płatnych. Na najtrudniejsze pytania bezpłatne modele odpowiadały błędnie w 93% przypadków.

Najlepszy wynik uzyskał Claude Opus 5 w trybie rozumowania. Mimo to błędnych było 39% jego odpowiedzi. Błędy obejmowały pomyłki w obliczeniach, nieuwzględnione zmiany podatkowe i nieistniejące przepisy.

Jedna z odpowiedzi dotyczących podatku od emerytury mogła narazić oszczędzającego na opłatę w wysokości 17 500 £ ze strony brytyjskiego urzędu skarbowego HM Revenue and Customs.

„Miliony ludzi ufają modelom AI, szukając porad finansowych, ale otrzymują błędne odpowiedzi, przez które mogą stracić pieniądze” — powiedział Amal Jolly, dyrektor generalny Saturn.

Śledź nas na X, aby otrzymywać najnowsze wiadomości na bieżąco

Zaufanie do chatbotów AI mimo wszystko stale rośnie

Tymczasem korzystanie z AI rozpowszechniło się na różnych rynkach i w różnych grupach wiekowych. Globalne badanie EY przeprowadzone wśród 18 000 konsumentów wykazało, że 49% z nich korzystało z AI, podejmując decyzje dotyczące oszczędzania i inwestowania.

Brytyjski regulator rynku finansowego poinformował w sierpniu, że czterech na pięciu mniej doświadczonych inwestorów korzystało z AI, szukając pomocy w inwestowaniu. Spośród ankietowanych 56% stwierdziło, że ufa tym narzędziom — więcej niż telewizji i radiu, którym ufa 47%.

Tymczasem to samo badanie wykazało, że 44% błędnie uważa, iż informacje finansowe generowane przez AI podlegają regulacjom.

Badanie PensionBee przeprowadzone wśród 1000 dorosłych mieszkańców USA wykazało, że niemal sześciu na dziesięciu zastosowałoby się do porad dotyczących finansów bez ich niezależnego sprawdzenia. Prawie jedna czwarta stwierdziła, że chatbot podał jej już błędne informacje na temat finansów.

Jolly powiedział, że porady finansowe udzielane przez AI nie podlegają regulacjom, przez co konsumenci nie mają prawa do odszkodowania, które przysługiwałoby im w przypadku porady udzielonej przez człowieka. Wezwał FCA do szybkiego działania.

Subskrybuj nasz kanał YouTube, aby oglądać liderów i dziennikarzy, którzy dostarczają fachowych spostrzeżeń

Źródło: BeInCrypto