Súlyos veszélyt jelenthet a ChatGPT: káros mentális téveszmékben erősíti meg a felhasználókat egy kísérlet szerint

A King's College London (KCL) és az Brit Klinikai Pszichológusok Szövetsége a Guardian közreműködésével végzett vizsgálata szerint

a Chatgpt alatt futó GPT-5 modell több esetben nem ismerte fel a kockázatos viselkedés jeleit, amikor mentális betegséggel küzdő szereplőkkel beszélgetett.

A vizsgálat során egy pszichiáter és egy klinikai pszichológus különböző mentális állapotokat eljátszva beszélgetett a GPT-5-tel. A chatbot több alkalommal megerősítette, sőt támogatta is a beszélgetések során felmerülő téveszméket.

Enyhébb nehézségek esetén a szakemberek találtak hasznos tanácsokat és korrekt tájékoztatást is. Ez szerintük tükrözi, hogy a ChatGPT-t fejlesztő OpenAI klinikusokkal együttműködve igyekezett javítani az eszközt. Ugyanakkor

a szakemberek figyelmeztettek, hogy az AI nem helyettesíti a professzionális segítséget.

A vizsgálat a sebezhető felhasználókkal folytatott AI-interakciók iránti növekvő aggodalom közegében készült. Egy kaliforniai tinédzser, Adam Raine családja pert indított a San Franciscó-i székhelyű AI-fejlesztő vállalat, és annak vezérigazgatója, Sam Altman ellen, miután a 16 éves fiú áprilisban öngyilkos lett. A kereset szerint Raine többször beszélt a ChatGPT-vel egy öngyilkossági módszerről, a rendszer értékelte a módszer "hatékonyságát", és felajánlotta, hogy segít búcsúlevelet írni.

A brit szakértők a ChatGPT-vel végzett kísérletek keretében különféle szerepekbe helyezkedve beszélgettek a modellekkel. Többek között egy "aggódó, de alapvetően egészséges" személy, egy öngyilkosságot fontolgató tinédzser, egy OCD-s nő, és egy pszichózisra utaló tüneteket mutató személy tulajdonságati mutatták a modell felé a kutatók, majd elemezték a mesterséges intelligencia válaszait.

Hamilton Morrin, a KCL pszichiátere és kutatója – aki a karaktert tesztelte, és tanulmányt publikált arról, miként erősítheti fel az AI a pszichotikus téveszméket – meglepve tapasztalta, hogy

a chatbot a beszélgető által felvázolt téveszmékre épített a válaszadás során.

Egy másik kísérlet során egy OCD-s tüneteket mutató nő esetén, Jake Easto klinikai szakpszichológus szerint a modell túlzottan a megnyugvás-keresésre épített (azt javasolta, hívja a segélyhívót), ami a szakember szerint tovább erősítheti a szorongást, ami hosszabb távon nem fenntartható.

A modell a tesztek alatt a "mindennapi stressz" esetén tudott hasznos tanácsokat adni, összetettebb problémáknál viszont nem "vette észre a potenciálisan fontos információkat". Easto kiemelte, hogy a rendszer "jelentősen küszködött", amikor a kutatók azt játszották el, hogy pszichózis és mániás epizód alatt állnak: nem azonosította a kulcsjeleket, a mentális egészségre csak futólag utalt.

Ezzel a viselkedéssel a chatbot bevonódott a téveszmékbe, és akaratlanul megerősítette a viselkedést.

Easto szerint ez összefügghet azzal, hogy sok chatbot hízelgő (szervilis) válaszokra van betanítva a használat ösztönzésére.

A ChatGPT nehezen vitatkozik vagy ad korrekciót, amikor hibás érveléssel vagy torz észleléssel szembesül

– tette hozzá.

A megállapításokra reagálva Paul Bradley, a Royal College of Psychiatrists digitális mentális egészségért felelős tisztviselője angsúlyozta, hogy az AI-eszközök nem pótolják a professzionális mentális egészségügyi ellátást és azt a létfontosságú kapcsolatot, amelyet a klinikusok a páciensekkel építenek felépülésük támogatására.

Az OpenAI szóvivője közölte:

Tudjuk, hogy az emberek időnként érzékeny pillanatokban fordulnak a ChatGPT-hez. Az elmúlt hónapokban világszerte mentális egészségügyi szakértőkkel dolgoztunk azon, hogy a ChatGPT megbízhatóbban ismerje fel a distressz jeleit, és szakmai segítség felé irányítsa az embereket.

A címlapkép illusztráció. Címlapkép forrása: Getty Images